Linux

关注公众号 jb51net

关闭
首页 > 网站技巧 > 服务器 > Linux > linux下Doris单点部署

linux下Doris单点部署实践

作者:程序员果子

这篇文章主要介绍了linux下Doris单点部署实践,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

1.Doris 下载

下载地址:Apache Doris - Download | Easily deploy Doris anywhere - Apache Doris

注:下载前需要确认服务器CPU是否支持avx2指令集,然后下载合适的版本

# 执行如下命令确认CPU是否支持avx2,返回值中包含:avx2 , 表示支持avx2 指令集
cat /proc/cpuinfo | grep avx2

选择需要的介质下载,这里以支持avx2指令集的apache-doris-2.1.6-bin-x64.tar.gz 为例

2. 环境准备

2.1Linux操作系统版本需求

2.2 部署依赖

Java 1.8 及以上可参考Linux下JDK 安装

GCC4.8.2 及以上

3.Doris 部署

3.1修改系统配置

3.1.1修改系统句柄数

(1)查看系统句柄数

# 默认系统句柄数为 1024 ,启动BE要求句柄数大于600000
ulimit -n

(2)修改系统最大打开文件句柄数

# 修改limits.conf 文件
vi /etc/security/limits.conf 

# 添加如下内容
* soft nofile 655360
* hard nofile 655360

# 修改完毕后重启系统即可生效,也可执行如下命令临时生效
ulimit -n 655350

3.1.2关闭swap分区

(1)修改fstab文件

修改 fstab 文件 , 将带有swap的语句注释掉

# 编辑 fstab 文件
vi /etc/fstab

# 修改完毕后重启系统即可生效,也可执行如下命令临时生效
swapoff -a

(2)检查是否修改完成

# 如果swap对应的数值均为0则代表修改成功
free -h 

3.1.3 修改最大内存映射区域数量

# 编辑sysctl.conf文件
vi /etc/sysctl.conf

# 修改每个进程允许的最大内存映射区域的数量
vm.max_map_count = 6553600

# 加载并应用
sysctl -p

# 查看是否生效
cat /proc/sys/vm/max_map_count

3.2开放端口

(1)查看防火墙状态

systemctl status firewalld

注:如果防火墙为关闭状态 ,可以省去以下开放端口步骤 ! !

(2)开放端口

firewall-cmd --zone=public --add-port=8030/tcp --permanent  

firewall-cmd --zone=public --add-port=9030/tcp --permanent  

firewall-cmd --zone=public --add-port=8060/tcp --permanent

firewall-cmd --zone=public --add-port=8040/tcp --permanent

(3)防火墙重新加载配置

firewall-cmd --reload  

(4) 查看防火墙所有开放的端口

firewall-cmd --zone=public --list-ports

3.3 fe 部署

(1)解压

上传介质(apache-doris-2.1.6-bin-x64.tar.gz)到 /opt目录下,并解压到当前目录下

tar -zxvf apache-doris-2.1.6-bin-x64.tar.gz

(2)修改 fe 配置

vi /opt/apache-doris-2.1.6-bin-x64/fe/conf/fe.conf

修改以下配置,其他配置可根据需求更改

# 大小写忽略,如果忘记,后面无法添加 !!!
lower_case_table_names=1

# 元数据存储目录 , 确保该目录下有足够大的磁盘空间
meta_dir = /opt/apache-doris-2.1.6-bin-x64/fe/doris-meta

# 修改ip绑定地址段
priority_networks = 10.10.10.0/24

(3)启动

/opt/apache-doris-2.1.6-bin-x64/fe/bin/start_fe.sh --daemon

(4)查看 fe 运行状态

curl http://127.0.0.1:8030/api/bootstrap

出现以下信息代表启动成功

{"msg":"success","code":0,"data":{"replayedJournalId":0,"queryPort":0,"rpcPort":0,"arrowFlightSqlPort":0,"version":""},"count":0}

(5)访问

启动成功后 ,浏览器输入http://ip:8030,即可访问 fe,用户名root,默认密码为

进入后点击 System→frontends ,可以看到 fe 启动成功的信息、

3.4be 部署

(1)修改 be 配置

vi /opt/apache-doris-2.1.6-bin-x64/be/conf/be.conf

修改以下配置,其他配置可根据需求更改

# 配置 JAVA_HOME 环境变量
JAVA_HOME=/usr/local/jdk1.8/jre

# 数据存放目录
storage_root_path = /opt/apache-doris-2.1.6-bin-x64/be/storage/

# 修改ip绑定地址段
priority_networks = 10.10.10.0/24

(2)启动

/opt/apache-doris-2.1.6-bin-x64/be/bin/start_be.sh --daemon

(3)访问

浏览器输入http://ip:8060,即可访问 be,检查 be 是否启动成功

3.5 be添加到Doris集群

(1)安装MySQL客户端

可以参考 :Linux下部署MySQL5.7.35

(2)MySQL连接fe

# 127.0.0.1为Master节点的IP
mysql -h127.0.0.1 -P 9030 -uroot

# 执行以下sql检查fe是否连接成功
SHOW FRONTENDS\G;

IsMaster、Join 和 Alive 结果均为 true,则表示连接成功

修改密码

# 123456为密码 
SET PASSWORD FOR "root"@"%" = PASSWORD('123456');

(3)添加 be

# ip为be节点所在服务器ip
ALTER SYSTEM ADD BACKEND "ip:9050";

4 验证

4.1检查be是否添加成功

(1)命令查看 be 添加情况

# 执行以下sql检查be是否添加成功
SHOW BACKENDS\G;

Alive 结果均为 true , 表示添加成功

(2) 页面查看 be 添加情况

通过访问http://ip:8030 ,System→backends

4.2 连接数据库

通过数据库连接工具 ,连接数据库 ,这里使用的是 idea 自带的数据库连接工具(也可用Navicat 等数据库连接工具)

驱动选择MySQL ,端口为 9030 , 输入IP ,用户密码连接到数据库,便可以操作数据库

5. 总结

本文主要介绍了linux 系统下Doris单点部署 ,其中比较需要注意的就是大小写忽略,系统配置修改 ,以及防火墙设置

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

您可能感兴趣的文章:
阅读全文