美团Doris 使用: https://zhuanlan.zhihu.com/p/128068950

官网发布文档: http://doris.incubator.apache.org/master/zh-CN/installing/install-deploy.html

Apache Doris官方网站:

Apache Doris Github:

关于open file limit问题解决

如果遇到open file limit问题

Configuration of maximum open file limit is too low: 1024 (expected at least 32768). Please consult https://goo.gl/LgvGFl

修改方法:
(1)ulimit -HSn 102400

这只是在当前终端有效,退出之后,open files 又变为默认值。

(2)将ulimit -HSn 102400写到/etc/profile中,因为每次登录终端时,都会自动执行/etc/profile。

(3)令修改open files的数值永久生效,则必须修改配置文件:/etc/security/limits.conf  在这个文件后加上:

* soft nofile 102400

* hard nofile 102400

这种方法需要重启机器才能生效。 (第三种测试无效,建议第二种)
 

权限问题:

 sudo  chown  -R    sea:sea   ./fe   

 sudo  chown  -R    sea:sea   ./be  

环境:Ubuntu16.04  jdk8

 doris编译:

## 1. 开启
“`bash
docker run -d -it
–name doris
–net=host
-v /volume1/doris/incubator-doris:/root/incubator-doris/ apachedoris/doris-dev:build-env-1.2

docker exec -it 514efb88fa99 bash
“`

## 2. 修改
“`bash
vim /usr/share/maven/conf/settings.xml
“`
“`xml
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
“`

## 3. 下载
“`bash
git clone https://github.com/apache/incubator-doris.git

建议直接下载: https://github.com/baidu-doris/incubator-doris/releases     sudo docker cp  incubator-doris-DORIS-0.13.12-release.tar.gz  10fc0e2c0608:/root/    
“`

## 4. 编译
“`bash
sh build.sh
“`

编译完成后,产出文件在 output/ 目录中。

 

IP 绑定

因为有多网卡的存在,或因为安装过 docker 等环境导致的虚拟网卡的存在,同一个主机可能存在多个不同的 ip。当前 Doris 并不能自动识别可用 IP。所以当遇到部署主机上有多个 IP 时,必须通过 priority_networks 配置项来强制指定正确的 IP。

priority_networks 是 FE 和 BE 都有的一个配置,配置项需写在 fe.conf 和 be.conf 中。该配置项用于在 FE 或 BE 启动时,告诉进程应该绑定哪个IP。示例如下:

priority_networks=10.1.3.0/24       这配置可以使用 ip  a  查看

这是一种 CIDR 的表示方法。FE 或 BE 会根据这个配置项来寻找匹配的IP,作为自己的 localIP。

注意:当配置完 priority_networks 并启动 FE 或 BE 后,只是保证了 FE 或 BE 自身的 IP 进行了正确的绑定。而在使用 ADD BACKEND 或 ADD FRONTEND 语句中,也需要指定和 priority_networks 配置匹配的 IP,否则集群无法建立。举例:

BE 的配置为:priority_networks=10.1.3.0/24

但是在 ADD BACKEND 时使用的是:ALTER SYSTEM ADD BACKEND "192.168.0.1:9050";

则 FE 和 BE 将无法正常通信。

这时,必须 DROP 掉这个添加错误的 BE,重新使用正确的 IP 执行 ADD BACKEND。

FE 同理。

BROKER 当前没有,也不需要 priority_networks 这个选项。Broker 的服务默认绑定在 0.0.0.0 上。只需在 ADD BROKER 时,执行正确可访问的 BROKER IP 即可。

 

单 FE 部署    建议结合官网文档:http://doris.incubator.apache.org/master/zh-CN/installing/install-deploy.html
编译doris: 见上面
安装位置:
/opt/doris

配置文件
(需要创建 palo-meta文件夹)
cd fe
mkdir doris-meta
1) Fe.conf

meta_dir = ${DORIS_HOME}/doris-meta

http_port = 18030
rpc_port = 9020
query_port = 9030
edit_log_port = 9010
priority_networks=192.168.18.129/24

2) be.conf

be_port = 9060
be_rpc_port = 9070
webserver_port = 18040
heartbeat_service_port = 9050
brpc_port = 18060

storage_root_path = /storage1/be/data;/storage2/be/data;/storage3/be/data
#storage_root_path = ${DORIS_HOME}/storage

priority_networks=192.168.18.129/24 

3) 创建目录

mkdir -p   /storage1/be/data  /storage2/be/data   /storage3/be/data

启动fe
cd /opt/doris/fe
sh bin/start_fe.sh –daemon

FE进程启动进入后台执行。日志默认存放在 fe/log/ 目录下。如启动失败,可以通过查看 fe/log/fe.log 或者 fe/log/fe.out 查看错误信息。

连接fe
mysql -h host -P 9030 -uroot

修改root 用户密码 (如果需要 ):   >   set password for 用户名@localhost = password(‘新密码’);  

其中 host 为 FE 所在节点 ip;port 为 fe/conf/fe.conf 中的 query_port;默认使用 root 账户,无密码登录。 

添加be
ALTER SYSTEM ADD BACKEND “host1:9050”;
ALTER SYSTEM ADD BACKEND “host2:9050”;
ALTER SYSTEM ADD BACKEND “host3:9050”;
(
如果使用多组户功能,则执行以下命令添加BE:
ALTER SYSTEM ADD FREE BACKEND “host:port”;
)

其中 host 为 BE 所在节点 ip;port 为 be/conf/be.conf 中的 heartbeat_service_port。

BE 进程将启动并进入后台执行。日志默认存放在 be/log/ 目录下。如启动失败,可以通过查看 be/log/be.log 或者 be/log/be.out 查看错误信息。

查看BE状态

使用 mysql-client 连接到 FE,并执行 SHOW PROC '/backends'; 查看 BE 运行情况。如一切正常,isAlive 列应为 true

 

启动be
cd /opt/doris-0.9.0/be
sh bin/start_be.sh  

显示fe与be状态
show proc “/frontends”;
show proc “/backends”;

fe高可用部署 :   http://doris.incubator.apache.org/master/zh-CN/installing/install-deploy.html#%E9%9B%86%E7%BE%A4%E9%83%A8%E7%BD%B2