部署存算分离集群
通过 Doris Manager 可以在物理机、虚拟机以及云服务器上部署 Doris 集群,自动完成集群的环境检查与集群配置。新建存算分离集群需要在当前集群标签中选择新建/接管集群,并选新建存算分离集群。
注意事项
-
FE 机器会同时部署 FoundationDB,至少需要 48G 内存;
-
可以在一台服务器上混合部署一个 FE 与 BE,但无法署多个 FE 与 BE 实例;
-
在部署前,可以参考集群规划 (opens in a new tab)计算节点数量;
-
在添加机器时,需要指定 IP 地址,而不是 hostname。
第 1 步:环境配置
在配置集群环境时,需要按照提示配置集群名称,选择部署版本及指定数据库 root 密码。
同时需要为存算分离集群配置共享存储。
第 2 步:主机注册
注册主机时,需要先添加主机 IP,并为每一台主机启动 Agent 服务。
-
添加主机 IP 及指定 Agent Port
添加主机 IP 时,支持 IPV4 与 IPV6 的方式。
-
为指定主机安装 Agent 服务
安装 Agent 需要在每一台注册的主机上检查机器参数,并一键部署 Agent 服务。
在部署 Agent 服务后,需要保证 Agent 状态为正常。
第 3 步:FE 配置
添加 FE 时,需要指定 FE 角色 (opens in a new tab),建议指定 3 个 FE Follower 形成高可用架构。
在指定 FE 配置时,可以选择通用配置或单独修改某一个 FE 配置,推荐使用通用配置保证 FE 配置统一。
配置说明如下:
参数 | 说明 |
---|---|
Http Port | FE 上的 HTTP Server 端口,默认 8030 |
Query Port | FE 上的 MySQL Server 端口,默认 9030 |
RPC Port | FE 上的 Thrift Server 端口,每个 FE 的配置需保持一致,默认 9020 |
Editlog Port | FE 上的 bdbje 通信端口,默认 9010 |
部署目录 | Doris 的部署根目录 |
元数据存储目录 | FE 元数据的数据存储目录 |
日志目录 | FE 日志目录 |
第 4 步:BE 配置
在添加 BE 节点时,需要先规划计算组,在为每一个计算组添加 BE 节点。
如上图中创建了两个资源组,并为每一个资源组添加了一个 BE 节点。
配置说明如下:
参数 | 说明 |
---|---|
BE Port | BE 上 Thrift Server 的端口,用于接收来自 FE 的请求,默认 9060 |
Webserver Port | BE 上的 HTTP Server 端口,默认 8040 |
Heartbeat Port | BE 上的心跳服务端口(Thrift),用于接收来自 FE 的心跳,默认 9050 |
BRPC Port | BE 上的 BRPC 端口,用于 BE 之间的通信,默认 8060 |
部署目录 | Doris 的部署根目录 |
数据存储目录 | BE 的数据存储目录 |
日志目录 | BE 的日志存储目录 |
外表缓存目录 | 联邦分析文件缓存目录 |
文件缓存总量 | 联邦分析文件缓存大小 |
单个查询限制缓存 | 联邦分析单个查询使用缓存大小限制 |
第 5 步:其他配置
在配置集群参数时,可以选择是否自动拉起与表名大小写敏感。