简介

Doris Manager Web Server 

Doris Manager Web 服务是 Manager 网页服务器的服务端，同时也是整个 Doris Manager 实现自动运维管理 Apache Doris、SelectDB Doris 集群的核心模块。主要的功能包括：

  • 管控 Doris 集群，包括部署、托管、扩容、缩容、升级、配置修改、重启等管控操作；
  • 提供网页端访问的服务 API；
  • 存储 Doris Manager 所有业务功能的元数据；
  • 提供 Doris 集群运维监控告警组件功能；
  • 提供自然人访问 Doris Manager 的用户认证系统，同时实现了基于 Doris 集群功能管理的权限系统；
  • 通过 Agent 统一管理系统中的 Doris 集群节点，并下发管控指令到 Agent。

Doris Manager Agent

通过 Doris Manager 管控的 Doris 集群，需要在每个 Doris 集群节点上安装一个常驻的 Agent 进程，Agent 默认的端口是8972， 跟 Doris Manager Web 服务所在的机器必须网络联通。Agent 主要的功能包括：

  • 接收 Doris Manager Web 服务侧下发的管控命令，执行并返回执行结果；
  • 收集 Doris Cluster 节点主机的监控指标，并主动汇报给 Doris Manager Web 服务侧的监控组件存储；
  • 定时向 Doris Manager Web 服务汇报 Doris Cluster 节点上主机和 Doris 进程的心跳信息。

安装前准备

参考官方部署文档：https://doris.apache.org/zh-CN/docs/install/preparation/env-checking 

使用虚拟机

操作系统：Rocky Linux release 8.10 (Green Obsidian)

测试环境验证：分别一台 Doris Manager web servier，一台 fe 节点，三台 be 节点

FE 节点的数量

  • FE 角色分为 Follower 和 Observer，（Leader 为 Follower 组中选举出来的一种角色，以下统称 Follower）。
  • FE 节点数据至少为1（1 个 Follower）。当部署 1 个 Follower 和 1 个 Observer 时，可以实现读高可用。当部署 3 个 Follower 时，可以实现读写高可用（HA）。
  • Follower 的数量必须为奇数，Observer 数量随意。
  • 根据以往经验，当集群可用性要求很高时（比如提供在线业务），可以部署 3 个 Follower 和 1-3 个 Observer。如果是离线业务，建议部署 1 个 Follower 和 1-3 个 Observer。

系统检查

在部署 Doris 时，需要对以下操作系统项进行检查

  • 确保关闭 swap 分区
  • 确保系统关闭透明大页
  • 确保系统有足够大的虚拟内存区域
  • 确保 CPU 不使用省电模式
  • 确保网络连接溢出时自动重置新连接
  • 确保 Doris 相关端口畅通或关闭系统防火墙
  • 确保系统有足够大的打开文件句柄数
  • 确定部署集群机器安装 NTP 服务

部分参数设置

# 查看是否支持 AVX2 指令集
cat /proc/cpuinfo | grep avx2

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 关闭SELinux
cat /etc/selinux/config
setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config && getenforce
cat /etc/selinux/config

# 关闭 swap 分区
swapoff -a && sudo sed -i '/swap/s/^/#/' /etc/fstab

# 关闭透明大页
echo madvise > /sys/kernel/mm/transparent_hugepage/enabled
echo madvise > /sys/kernel/mm/transparent_hugepage/defrag
cat >> /etc/rc.d/rc.local << EOF
echo madvise > /sys/kernel/mm/transparent_hugepage/enabled
echo madvise > /sys/kernel/mm/transparent_hugepage/defrag
EOF
chmod +x /etc/rc.d/rc.local

# 设置打开文件句柄数
cp -a /etc/security/limits.conf  /etc/security/limits.conf.backup
cat >> /etc/security/limits.conf << EOF
* soft nofile 65535
* hard nofile 65535
* soft nproc 65565
* hard nproc 65565
EOF

# 足够大的虚拟内存区域
# 网络连接溢出时自动重置新连接
cp -a /etc/sysctl.conf  /etc/sysctl.conf.bak
echo "vm.max_map_count=2000000"  >> /etc/sysctl.conf
echo "vm.swappiness=0" >> /etc/sysctl.conf
echo "vm.overcommit_memory=1" >> /etc/sysctl.conf
echo "net.ipv4.tcp_abort_on_overflow=1" >> /etc/sysctl.conf
sysctl -p

时间同步一致设置

Doris 的元数据要求时间精度要小于5000ms，所以所有集群所有机器要进行时钟同步，避免因为时钟问题引发的元数据不一致导致服务出现异常。

# 安装chrony
dnf install chrony

#配置Chrony
#备份
cp /etc/chrony.conf /etc/chrony.conf_bak

# 修改配置，因为我是内网配置，如果能访问外网可忽略此步骤，直接重启服务即可
vi /etc/chrony.conf 
server 192.168.111.150 iburst

#启用 Chrony 服务
sudo systemctl restart chronyd
sudo systemctl enable chronyd
chronyc -a makestep

部署 Doris Manager Web 服务

安装包下载和说明

下载地址：https://selectdb.com/download/enterprise#manager

安装参考：https://docs.selectdb.com/docs/enterprise/cluster-manager-guide/deployment-guide/deployment-guide-24.x

安装包: doris-manager-24.1.4-x64-bin.tar.gz

# 安装包解压
tar -zxvf doris-manager-24.1.4-x64-bin.tar.gz

# 修改安装包目录名称
mv doris-manager-24.1.4-x64-bin doris-manager

# 进入安装路径
cd doris-manager

# 配置Web服务（自行选择配置）
读取安装目录中 webserver 路径下的 conf/manager.conf 文件

# 启动 Web 服务
# 在 webserver 目录直接运行脚本：
sh bin/start.sh

访问 Web 服务

直接通过浏览器输入 URL——http://{Web服务机器IP}:{Web服务端口}，比如 http://192.168.111.150:8004

点击 【启动 Doris Manager】 ，提示正在启动 Doris Manager。

启动成功后，提示用户 进入 Doris Manager 。直接通过浏览器输入 URL——http://{Web服务机器IP}:{Web服务端口}，比如 http://192.168.111.150:8004 

部署 Doris Manager Agent

参考：https://docs.selectdb.com/docs/enterprise/cluster-manager-guide/deployment-guide/deployment-guide-24.x

下载地址：https://doris.apache.org/zh-CN/download

通过 cat /proc/cpuinfo|grep avx2 检查确认下，如果无内容返回，那就是不支持avx2指令集，用于区分下载版本。