Docker - StarRocks部署（支持集群）

StarRocks 是一款高性能分析型数据仓库，使用向量化、MPP 架构、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。StarRocks 兼容 MySQL 协议，可使用 MySQL 客户端和常用 BI 工具对接。同时 StarRocks 具备水平扩展，高可用、高可靠、易运维等特性。广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。

官方文档：StarRocks 简介

硬件要求：部署BE服务的机器 CPU 需支持 AVX2 指令集，查看命令cat /proc/cpuinfo | grep avx2 有结果输出即表明CPU支持。如果无输出，建议更换支持AVX2的机器。

概念介绍

• FE、BE、Broker、CN

• 分区、分桶、副本数

一、拉取镜像

# 前端节点，负责管理元数据，管理客户端连接，进行查询规划，查询调度等工作
docker pull renzicu/starrocks-fe:2.5.0

# 后端节点，负责数据存储，计算执行，以及compaction，副本管理等工作
# 机器 CPU 支持 AVX2 指令集
docker pull renzicu/starrocks-be:2.5.0
# 机器 CPU 不支持 AVX2 指令集，下面的BE命令都需要换成此镜像
docker pull renzicu/starrocks-be-noavx:2.5.0

# 和外部HDFS/对象存储等外部数据对接的中转服务，辅助提供导入导出功能
docker pull renzicu/starrocks-broker:2.5.0

二、准备工作

将容器中配置文件映射到本地，方便日后调整配置参数

# 本地存储StarRocks根目录
export StarRocks_Home='/data/starrocks/'
export StarRocks_Ver='2.5.0'
# 提前创建需要保存配置文件的目录，示自己情况创建
mkdir -p $StarRocks_Home/fe/conf $StarRocks_Home/be/conf $StarRocks_Home/broker/conf

# 创建临时容器，导出FE配置文件
docker create --name starrocks-fe renzicu/starrocks-fe:${StarRocks_Ver} \
  && docker cp starrocks-fe:/starrocks/conf/fe.conf $StarRocks_Home/fe/conf/fe.conf \
  && docker rm starrocks-fe

# 创建临时容器，导出BE配置文件
docker create --name starrocks-be renzicu/starrocks-be:${StarRocks_Ver} \
  && docker cp starrocks-be:/starrocks/conf/be.conf $StarRocks_Home/be/conf/be.conf \
  && docker rm starrocks-be
  
# 创建临时容器，导出Broker配置文件
docker create --name starrocks-broker renzicu/starrocks-broker:${StarRocks_Ver} \
  && docker cp starrocks-broker:/starrocks/conf/apache_hdfs_broker.conf $StarRocks_Home/broker/conf/apache_hdfs_broker.conf \
  && docker rm starrocks-broker

三、启动程序

1. FE配置

作者封装的镜像对参数做了包装，见示例中-e OPTS=参数

docker run -d \
# http_port、query_port
-p 8030:8030 -p 9030:9030 \
# edit_log_port、rpc_port
-p 9010:9010 -p 9020:9020 \
--restart unless-stopped \
--name starrocks-fe1 \
# -e OPTS="--helper 172.17.0.1:9010" \
-v /etc/localtime:/etc/localtime:ro \
-v /data/starrocks/fe/conf/fe.conf:/starrocks/conf/fe.conf \
-v /data/starrocks/fe/meta:/starrocks/meta \
-v /data/starrocks/fe/log:/starrocks/log \
renzicu/starrocks-fe:2.5.0

当 Docker 容器成功启动后，（在容器内）运行以下命令连接 StarRocks。详细权限配置见官网：用户权限及认证

-- 容器内已集成mysql，可在容器内执行。默认用户root，密码为空
mysql -u root -h 127.0.0.1 -P 9030
-- 修改root密码
SET PASSWORD FOR 'root' = PASSWORD('xxxxxxxxxxxxxxx');

-- 创建新用户manong
CREATE USER manong@'%' IDENTIFIED WITH mysql_native_password BY 'xxxxxxxxxxxx';  -- 删除用户 DROP USER 'user_identity';
-- 授予所有权限
GRANT SELECT_PRIV ON *.* TO 'manong'@'%';

-- -----------------------添加/删除 FE、BE、Broker-------------------
-- 添加 Follower FE 节点
ALTER SYSTEM ADD FOLLOWER "fe_host:edit_log_port"; -- 删除 ALTER SYSTEM DROP FOLLOWER "fe_host:edit_log_port";
-- 添加 Observer FE 节点
ALTER SYSTEM ADD OBSERVER "fe_host:edit_log_port"; -- 删除 ALTER SYSTEM DROP OBSERVER "fe_host:edit_log_port";
-- 查看 FE 节点状态
SHOW PROC '/frontends'\G

-- 添加 BE 节点
ALTER SYSTEM ADD BACKEND "be_host:heartbeat_port"; -- 删除 ALTER SYSTEM DROP BACKEND "be_host:heartbeat_port";
-- 查看 BE 节点状态
SHOW PROC '/backends'\G

-- 添加 Broker 节点
ALTER SYSTEM ADD BROKER broker_name "broker_host:port"; -- 删除 ALTER SYSTEM DROP BROKER broker_name "broker_host:port";
-- 查看 Broker 节点状态
SHOW PROC '/brokers'\G

2. BE配置

docker run -d \
# heartbeat_port、be_port
-p 9050:9050 -p 9060:9060 \
# webserver_port、brpc_port
-p 8040:8040 -p 8060:8060 \
--restart unless-stopped \
--name starrocks-be1 \
-v /etc/localtime:/etc/localtime:ro \
-v /data/starrocks/be/conf/be.conf:/starrocks/conf/be.conf \
-v /data/starrocks/be/storage:/starrocks/storage \
-v /data/starrocks/be/log:/starrocks/log \
renzicu/starrocks-be:2.5.0

3. Broker配置

docker run -d \
-p 8000:8000 \
--restart unless-stopped \
--name starrocks-broker1 \
-v /etc/localtime:/etc/localtime:ro \
-v /data/starrocks/broker/conf/apache_hdfs_broker.conf:/starrocks/conf/apache_hdfs_broker.conf \
renzicu/starrocks-broker:2.5.0

四、访问测试

通过StarRocks自带WebUI，8030端口访问

注：当使用Mysql等连接工具时，需要使用9030端口访问。

附：相关端口介绍