美团Doris 使用: https://zhuanlan.zhihu.com/p/128068950
官网发布文档: http://doris.incubator.apache.org/master/zh-CN/installing/install-deploy.html
Apache Doris官方网站:http://doris.incubator.apache.org
Apache Doris Github:https://github.com/apache/incubator-doris
关于open file limit问题解决
如果遇到open file limit问题
Configuration of maximum open file limit is too low: 1024 (expected at least 32768). Please consult https://goo.gl/LgvGFl
修改方法:
(1)ulimit -HSn 102400
这只是在当前终端有效,退出之后,open files 又变为默认值。
(2)将ulimit -HSn 102400写到/etc/profile中,因为每次登录终端时,都会自动执行/etc/profile。
(3)令修改open files的数值永久生效,则必须修改配置文件:/etc/security/limits.conf 在这个文件后加上:
* soft nofile 102400
* hard nofile 102400
这种方法需要重启机器才能生效。 (第三种测试无效,建议第二种)
权限问题:
sudo chown -R sea:sea ./fe
sudo chown -R sea:sea ./be
环境:Ubuntu16.04 jdk8
doris编译:
## 1. 开启
“`bash
docker run -d -it
–name doris
–net=host
-v /volume1/doris/incubator-doris:/root/incubator-doris/ apachedoris/doris-dev:build-env-1.2
docker exec -it 514efb88fa99 bash
“`
## 2. 修改
“`bash
vim /usr/share/maven/conf/settings.xml
“`
“`xml
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
“`
## 3. 下载
“`bash
git clone https://github.com/apache/incubator-doris.git
建议直接下载: https://github.com/baidu-doris/incubator-doris/releases sudo docker cp incubator-doris-DORIS-0.13.12-release.tar.gz 10fc0e2c0608:/root/
“`
## 4. 编译
“`bash
sh build.sh
“`
编译完成后,产出文件在 output/
目录中。
IP 绑定
因为有多网卡的存在,或因为安装过 docker 等环境导致的虚拟网卡的存在,同一个主机可能存在多个不同的 ip。当前 Doris 并不能自动识别可用 IP。所以当遇到部署主机上有多个 IP 时,必须通过 priority_networks 配置项来强制指定正确的 IP。
priority_networks 是 FE 和 BE 都有的一个配置,配置项需写在 fe.conf 和 be.conf 中。该配置项用于在 FE 或 BE 启动时,告诉进程应该绑定哪个IP。示例如下:
priority_networks=10.1.3.0/24 这配置可以使用 ip a 查看
这是一种 CIDR 的表示方法。FE 或 BE 会根据这个配置项来寻找匹配的IP,作为自己的 localIP。
注意:当配置完 priority_networks 并启动 FE 或 BE 后,只是保证了 FE 或 BE 自身的 IP 进行了正确的绑定。而在使用 ADD BACKEND 或 ADD FRONTEND 语句中,也需要指定和 priority_networks 配置匹配的 IP,否则集群无法建立。举例:
BE 的配置为:priority_networks=10.1.3.0/24
但是在 ADD BACKEND 时使用的是:ALTER SYSTEM ADD BACKEND "192.168.0.1:9050";
则 FE 和 BE 将无法正常通信。
这时,必须 DROP 掉这个添加错误的 BE,重新使用正确的 IP 执行 ADD BACKEND。
FE 同理。
BROKER 当前没有,也不需要 priority_networks 这个选项。Broker 的服务默认绑定在 0.0.0.0 上。只需在 ADD BROKER 时,执行正确可访问的 BROKER IP 即可。
单 FE 部署 建议结合官网文档:http://doris.incubator.apache.org/master/zh-CN/installing/install-deploy.html
编译doris: 见上面
安装位置:
/opt/doris
配置文件
(需要创建 palo-meta文件夹)
cd fe
mkdir doris-meta
1) Fe.conf
meta_dir = ${DORIS_HOME}/doris-meta
http_port = 18030
rpc_port = 9020
query_port = 9030
edit_log_port = 9010
priority_networks=192.168.18.129/24
2) be.conf
be_port = 9060
be_rpc_port = 9070
webserver_port = 18040
heartbeat_service_port = 9050
brpc_port = 18060
storage_root_path = /storage1/be/data;/storage2/be/data;/storage3/be/data
#storage_root_path = ${DORIS_HOME}/storage
priority_networks=192.168.18.129/24
3) 创建目录
mkdir -p /storage1/be/data /storage2/be/data /storage3/be/data
启动fe
cd /opt/doris/fe
sh bin/start_fe.sh –daemon
FE进程启动进入后台执行。日志默认存放在 fe/log/ 目录下。如启动失败,可以通过查看 fe/log/fe.log 或者 fe/log/fe.out 查看错误信息。
连接fe
mysql -h host -P 9030 -uroot
修改root 用户密码 (如果需要 ): > set password for 用户名@localhost = password(‘新密码’);
其中 host 为 FE 所在节点 ip;port 为 fe/conf/fe.conf 中的 query_port;默认使用 root 账户,无密码登录。
添加be
ALTER SYSTEM ADD BACKEND “host1:9050”;
ALTER SYSTEM ADD BACKEND “host2:9050”;
ALTER SYSTEM ADD BACKEND “host3:9050”;
(
如果使用多组户功能,则执行以下命令添加BE:
ALTER SYSTEM ADD FREE BACKEND “host:port”;
)
其中 host 为 BE 所在节点 ip;port 为 be/conf/be.conf 中的 heartbeat_service_port。
BE 进程将启动并进入后台执行。日志默认存放在 be/log/ 目录下。如启动失败,可以通过查看 be/log/be.log 或者 be/log/be.out 查看错误信息。
查看BE状态
使用 mysql-client 连接到 FE,并执行 SHOW PROC '/backends';
查看 BE 运行情况。如一切正常,isAlive
列应为 true
。
启动be
cd /opt/doris-0.9.0/be
sh bin/start_be.sh
显示fe与be状态
show proc “/frontends”;
show proc “/backends”;
fe高可用部署 : http://doris.incubator.apache.org/master/zh-CN/installing/install-deploy.html#%E9%9B%86%E7%BE%A4%E9%83%A8%E7%BD%B2
最新评论