九象（Sky DataPilot）

Sky DataPilot 是一站式大数据集群和任务的监控、告警、诊断、运维以及自动化任务优化平台，全面兼容 CDH、HDP、华为云 MRS 等主流大数据平台，适配主流大数据任务引擎（MapReduce、spark、tez、impala）。实现大数据集群和任务的可视化监控、诊断建议、任务自动优化等，从而提高大数据集群运维效率，提升集群和任务稳定性。

• 大数据任务和集群建模

• 大数据任务分析诊断

• 大数据任务优化预估

• 大数据任务自动优化

• 大数据任务引擎自动升级

• 大数据任务和集群监控告警

• HDFS 集群存储治理

• HIVE 表冷热数据扫描

• 服务端：数据采集、分析、决策、诊断、告警等核心功能。

• 客户端：

• hook：部署在客户大数据任务提交网关节点的客户端，核心功能是任务优化

• agent：部署在客户任意一个有 HDFS 客户端节点，核心功能是 HDFS 集群存储治理

Sky DataPilot 正常运行需要开放如下网络端口，管理员可根据实际环境要求，在网络侧开放相关端口。

组件

默认端口

说明

hbo-pc

80

前端服务，浏览器访问端口

clickhouse

8123
9009

数据采集存储服务

mysql

3306

后端数据存储服务

lcc-hbo

8077

后端核心服务，为前端页面和 hook 提供接口

集群日均任务数

CPU需求

内存需求

数据存储需求（SSD）

< 1K

4C

8G

100G

1K < 任务数 < 1W

8C

16G

200G

1W < 任务数 < 5W

8C

16G

300G

5W < 任务数 < 10W

8C

32G

500G

10W < 任务数

16C

32G

500G以上

Bash
# 检查系统时区是否为东八区，如果不是东八区需要手动修改
ll /etc/localtime
lrwxrwxrwx. 1 root root 35 Oct 13  2023 /etc/localtime -> ../usr/share/zoneinfo/Asia/Shanghai

Bash
# 免费版
sudo mkdir -p /opt/lcc;cd /opt/lcc;sudo wget http://lcc-sky-datapilot.oss-cn-hangzhou.aliyuncs.com/server/server-community-latest.zip
# 商业版
sudo mkdir -p /opt/lcc;cd /opt/lcc;sudo wget http://lcc-sky-datapilot.oss-cn-hangzhou.aliyuncs.com/server/server-latest.zip

Bash
sudo unzip server-xx.zip
# 解压后目录包含以下内容，分别是 docker 二进制安装包、docker-compose 二进制文件、Sky DataPilot 部署配置文件目录、Sky DataPilot 服务镜像文件
$ ll
docker-23.0.2.tgz
docker-compose
optimizer-etc
optimizer_images.tar

Bash
# 解压 docker 二进制文件
sudo tar xzvf docker-23.0.2.tar.gz
# 将二进制文件移动到可执行路径上的目录，例如/usr/bin/
sudo cp docker/* /usr/bin/
# 启动 Docker 守护进程
sudo dockerd &
# 查看 docker 版本，确认 docker 服务拉起
sudo docker version

Bash
# 将二进制文件移动到/usr/local/bin/
sudo cp docker-compose /usr/local/bin/docker-compose
# 更改权限
sudo chmod +x /usr/local/bin/docker-compose
# 查看 docker-compose 版本，确认生效
sudo docker-compose --version

Bash
sudo docker load -i optimizer_images.tar

Bash
# 编辑optimizer-etc目录下docker-compose.yaml文件
# 配置mysql挂载目录
  mysql:
    # 省略...
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - ./mysql-init/:/docker-entrypoint-initdb.d/
      # 修改 MYSQL_DATA_PATH 为自定义 mysql 存储目录
      - MYSQL_DATA_PATH:/var/lib/mysql/
      - ./etc/my.conf:/etc/my.cnf

# 配置clickhouse挂载目录
  clickhouse:
    # 省略...
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - ./etc/users.xml:/etc/clickhouse-server/users.xml
      - ./etc/disable_metric_log.xml:/etc/clickhouse-server/config.d/disable_metric_log.xml
      # 修改 CLICKHOUSE_DATA_PATH 为自定义 clickhouse 存储目录
      - CLICKHOUSE_DATA_PATH:/var/lib/clickhouse
      - ./clickhouse/log/:/var/log/clickhouse-server/

Bash
cd optimizer-etc
# 启动
sudo docker-compose -f docker-compose.yaml up -d
# 停止
sudo docker-compose -f docker-compose.yaml down

Bash
地址: http://服务器IP地址:80
默认用户名: admin
默认密码: Lccadmin.

免费版：填写免费版 license 申请表单 申请免费版本 license，申请完成后邮箱会收到一份 license 文件。

商业版：填写商业版试用申请，我们会在第一时间联系您。

免费版本：

• 下载最新版本

• 开源代码

商业付费版本：

• 填写商业版试用申请，我们会在第一时间联系您。

Bash
cd /opt
unzip hook-community-latest.zip
chmod -R +r hook-community

Bash
# 在spark-env.sh中添加下面脚本
if [[ -e "/opt/hook-community/spark/lcc-hook-agent-spark-1.0.jar" && ! "${SPARK_SUBMIT_OPTS}" =~ "-javaagent:/opt/hook-community/spark/lcc-hook-agent-spark-1.0.jar" ]]; then
  export lcc_hbo_server_urls=http://hbo-pc-host
  export SPARK_SUBMIT_OPTS="${SPARK_SUBMIT_OPTS} -javaagent:/opt/hook-community/spark/lcc-hook-agent-spark-1.0.jar"
fi

Bash
# 修改hive-env.sh
lcc_hbo_server_urls=http://hbo-pc-host
HADOOP_OPTS="$HADOOP_OPTS $([[ -e "/opt/hook-community/tez/lcc-hook-agent-hive-1.0.jar" && ! "${HADOOP_OPTS}" =~ "-javaagent:/opt/hook-community/tez/lcc-hook-agent-hive-1.0.jar" ]] && echo '-javaagent:/opt/hook-community/tez/lcc-hook-agent-hive-1.0.jar')"

产品功能与大数据服务要求

小文件优化

冷热数据优化

跟hivemetastore网络打通

✔️

✔️

跟metasote-mysql网络打通

✔️

跟namenode网络打通

✔️

✔️

访问HDFS客户端

✔️

○

访问hive客户端

✔️

✔️

Bash
sudo wget http://lcc-sky-datapilot.oss-cn-hangzhou.aliyuncs.com/agent/agent-community-latest.rpm
# 安装
sudo rpm -ivh agent-community-latest.rpm
#查询软件包的详细信息
sudo rpm -qi lcc-agent
#卸载
sudo rpm -e lcc-agent
#升级
sudo rpm -Uvh lcc-agent-*.rpm
# 修改配置参数
sudo vim  /etc/lcc-agent/lcc-agent.toml
#修改[hboServerParam].addr 修改为服务端地址 eg:10.80.98.144:80
sudo service  lcc-agent start
# 重启服务 service  lcc-agent restart
# 停止服务 service  lcc-agent stop
# 查看日志 /var/lib/lcc-agent/lcc-agent.log

配置项

默认值

说明

备注

collector.tasks

该配置项是数据采集的核心配置，格式为 yaml 数组（支持配置采集多个集群的数据），数组中每个对象为一个采集集群的信息，每个集群配置详细配置如下：
cluster.name：采集集群名称
enable.collect.yarn.app：是否从 yarn resource manager 采集 yarn app 信息（该配置默认为true，不建议关闭）
spark.history：spark history server 地址，支持配置多个spark history server 地址（主要是兼容一个 yarn 集群存在多个 spark history 服务的场景）
mr.history：MapReduce job history 地址
yarn.app.list.primary：yarn resource manager 主节点采集地址
yarn.app.list.backup：yarn resource manager 从节点采集地址
yarn.app.list.backup.list：适配有多个从节点 resource manager 的场景，多个节点地址使用英文逗号分隔
hadoop.provider：适配华为云 mrs 采集队列信息的配置，如果使用的是华为云 mrs，又需要分析队列信息，可以在该配置项填写：HuaweiMRS

注意：

1. http 地址需要使用具体的 IP 地址，因为部署方式的原因，服务内部无法通过域名或者主机名访问被采集的服务。

2. 由于 spark history server 不同版本接口返回值有差异，我们支持了多个 spark history server 版本的采集，需要在 spark history server 地址后使用#{VERSION}指定版本，当前支持的版本有：
   1.6.0/1.6.1/2.1.0/2.2.0/2.3.2/2.4.0/2.4.8/3.1.2/3.2.1
   如果版本不在上述列表，取向下最近版本即可，例如spark history 的版本是2.4.5，填写为2.4.0即可。

3. 如果不需要某种引擎任务的采集可以使用默认的初始化配置，但是如果开启了该引擎类型任务采集则必须正确填写该引擎类型对应的 history 的地址配置信息。

enable.collect.spark

true

是否开启 spark 任务的采集

enable.collect.mr

true

是否开启 mr 任务的采集

enable.collect.tez.metrics

true

是否开启 tez 任务的采集

enable.collect.yarn.running.app

false

是否开启运行时 yarn app 的采集

enable.collect.impala.collector

false

是否开启 impala 任务的采集

enable.collect.impala.collector.coordinator

false

是否开启 impala coordinator 的采集

impala.collector

impala.collector.daemon：任意一个 impala daemon 的地址

impala.collector.port：impala daemon 的端口

impala.collector.limit：每轮采集最大条目数

impala.collector.hours：每轮采集读取当前时间多久以前的数据，默认24小时

enable.kerberos.check

false

被采集的系统是否开启了 kerberos 鉴权

principal

填写当前已有的 kerberos principle，格式：HTTP@xx.COM.CN

keytab

在服务端部署机器执行，keytab 文件地址需要替换对应位置
xxd -ps -c0 /etc/security/keytabs/spnego.headless.keytab | tr -d '\n'
执行完成将输出内容复制到该字段。

kdc.conf

将 krb5.conf 文件内容复制，确认以下配置，没有则添加，将修改后内容复制到该字段。

Shell
    extra_hosts:
        - "cdh-master:10.10.81.1"
        - "cdh-slave01:10.10.81.2"
        - "cdh-slave02:10.10.81.3"
        - "cdh-slave03:10.10.119.136"
        - "cdh-slave04:10.10.119.137"

• 预计收益率/收益率：

• 免费版：展示最近7天全部任务的内存预计收益率（预计收益率=(原始内存使用量-预估优化后内存使用量)/原始内存使用量*100%）以及各个引擎在整个收益中的占比。

• 商业版：展示最近7天全部任务的内存实际收益率（实际收益率=(原始内存使用量-实际优化后内存使用量)/原始内存使用量*100%）以及各个引擎在整个收益中的占比。

• 任务异常数：近7天任务执行经过诊断后有异常，可优化的任务数的变化曲线，具体异常信息可以查看任务执行列表。

• 任务告警量：近7天任务告警数量。

1. 小时完成数：展示今天、昨天和过去一周平均的从零点到当前所在小时之间每个小时完成的任务数分布和趋势，x轴代表时间整点，y轴表示截止到x轴整点对应的前一个小时内所有完成的任务数。

2. 累计完成数：展示今天、昨天和过去一周平均的从零点到当前所在小时之间每个小时累计完成的任务总数分布和趋势，x轴代表时间整点，y轴表示截止到前x个小时内所有完成的任务总数。

3. 队列排队情况：展示今天、昨天和过去一周平均的各个队列的任务排队情况，x轴表示时间，y轴表示在当前时间队列的排队任务数。

4. 引擎资源内存占比分布：展示各类引擎（目前支持mr、tez、spark）近七天每天使用的内存资源占当天总的内存资源使用量的比。

• 优化任务执行数：展示最近7天各类引擎任务的优化执行和非优化执行数量。

• 优化执行收益：展示最近7天所有任务优化执行的时长变化比例、CPU收益、内存收益

1. 告警列表：展示告警组中业务组的最近10条告警。

2. 业务组告警分布趋势：展示告警组中业务组的各个告警规则的告警趋势，x轴代表日期，y轴代表对应日期该组下各个告警规则的告警数量。

3. 告警组统计：展示各个告警组的总的告警数量趋势，x轴代表日期，y轴代表对应对应日期各个告警业务组的总的告警数量。

1. Yarn Application ID：对应yarn上的application id，点击该id可以跳转到本次任务执行的优化分析页面。

2. 任务id：同一个任务多次提交执行会被归一同一个任务，该 id 就是该任务的唯一识别号，点击该 id 可以跳转到该任务的详情页面。

3. 作业开始、结束时间

4. 诊断标签：经过诊断分析发现的异常问题的标签。

5. 是否优化：本次作业执行是否进行参数优化（注：自动优化为商业版本功能，免费版本该字段值均为未优化）。

6. 作业执行队列

7. 等待以及运行时长

8. CPU、内存、io使用量指标

9. 任务最终状态

• 设置标签

• 退出全局黑/白名单

• 加入全局黑/白名单

• 任务类型

• 决策（仅商业版）：点击可以查看该任务当前优化决策（具体调整了哪些配置参数）

• 是否在全局黑/白名单（仅商业版）：点击可添加/移除黑/白名单

• 任务内容

• 最近30天统计（包括：总执行次数、优化执行次数、失败执行次数、平均时长、最近运行时长优化、最近CPU使用量优化、最近内存使用量优化）

• 作业执行时长变化趋势图

• 作业等待时长变化趋势图

• 作业CPU使用量变化趋势图

• 作业内存使用量变化趋势图

• 作业执行列表已经各执行详细信息

• 执行数与时长统计

• 总执行数：SQL 总执行个数

• 统计信息有缺失的执行数：时段内如果有统计信息缺失的表的SQL个数

• 总执行时长：时段内 SQL 的总执行时长

• Query 执行列表

• 基本信息：query_id、type、SQL语句、开始时间、结束时间、运行时长、查询结果集等信息。

• 统计信息：本次查询供共查询了几张表，缺失统计信息的几张表，存在统计信息的几张表，内存/CPU/IO读写情况等数据。

• 总执行时长

1. 任务基本信息

2. 任务阶段统计信息

3. 任务运行时长分析

4. gc频率分析

5. 资源使用分析

• 黑白名单模式（仅商业版）：控制当前任务自动优化为哪种模式。

• 任务指纹：控制任务 id 如何计算产生的一段 lua 脚本。

• 优化规则（仅商业版）：不同引擎对应支持的优化规则。

• 全局白名单模式：仅加入白名单的任务才会被优化。

• 全局黑名单模式：仅加入黑名单的任务不会被优化，其余任务均会被优化。

• 开启时间：控制开启优化的时间区间，可以全天开启，也可使用 cron 表达式，当开关为开启状态且任务满足全局黑白名单状态判断时，该任务才会被优化。 举例：假设配置为 cron 表达式：* 15-20 * * *，表示仅在每天15~21点之间任务会优化，如果当前为全局黑名单模式，那么在15~21点之间所有任务都会被优化，如果是全局黑名单模式，那么在15~21点之间且任务加入白名单的任务会优化。

• 配置：针对规则的参数调整，属于较高阶配置，通常情况下不需要对规则参数进行调整

• 规则名单：在规则层级对任务是否进行优化进行控制，全局黑白名单控制的是任务粒度是否开启优化，而规则名单可以在规则层面控制该规则对任务是否生效。规则名单同样有黑/白名单两种模式，名单设置可以根据队列名称设置，也可以通过任务 id 设置，同一时刻只能队列或者任务 id 二选一配置。

• 决策详情：可以查看该规则的决策率（该规则所属引擎生成决策的任务数/该规则所属引擎任务总数*100%）和决策执行率（使用该规则生成决策的任务数/任务总数*100%）

同步自文档: https://lccomputing.feishu.cn/docx/IwVrdiNANoMba5xZFnEcvWDBn6d#ERkQdG3pusGA2obFIJVcWTmpnlc

• 所有队列：显示不同时间点的yarn集群的 TotalCPU/PendingCPU/xxx队列UsedCPU/TotalMemory/PendingMemory/xxx队列UsedMemory，可用来观察集群整体的 pending 情况及是否存在 CPUPending 但 Memory 空闲, MemoryPending 但 CPU 空闲的情况。

• 指定队列：yarn集群中不同队列的信息展示，包括当前队列 的maxCPU/maxMem/minCPU/minMem/pendingCPU/pendingMem/totalCPU/totalMem/usedCPU/usedMem 等指标，主要用来观察当前队列是否存在因 MaxMem/MaxCPU 导致的 pending 情况。

• 队列信息：显示当前 yarn 集群的基本配置信息，如队列类型、SchedulingPolicy、Preemptable等信息。

指标

含义

表存储量

一张表实际占用HDFS的文件大小的总量,分区表为全部分区相加，非分区表为全部文件相加

是否分区表

表是否为分区表

分区数

如果表为分区表，计算当前表的分区总数

小文件分区数

表为分区表时: 计算分区内平均文件大小是否小于64M(可调)的分区总数

小文件分区占比

表为分区表时: 小文件分区数占比总分区数的百分比

文件数

计算表涉及到的文件总数

平均文件大小

计算表的表存储量/文件数的比值

存储总量

所有表的表存储量即全部的表实际占用HDFS的文件大小总量

文件总数

所有表的文件数的总和,包含了分区表及非分区表实际上在HDFS存储的文件个数

平均文件大小

所有表的表存储总量/文件总数的平均值

表总数

所有表的总数

分区表总数

分区表的情况下，所有分区表的表总数

分区表总分区数

分区表的情况下，所有分区表的分区总数

非分表表总数

非分区表的情况下，所有表的表总数

小文件表存储总量

小文件即平均文件大小小于64M(可调)的表的存储量累计值

小文件表的文件总数

小文件即平均文件大小小于64M(可调)的表的存文件数累计值

小文件表平均文件大小

小文件即平均文件大小小于64M(可调)的表的存储总量/文件总数

小文件表的表总数

小文件即平均文件大小小于64M(可调)的表总数

小文件表的分区表总数

小文件即平均文件大小小于64M(可调)的分区表总数

小文件表的分区表总分区数

小文件即平均文件大小小于64M(可调)的分区总数

小文件表的非分区表总数

小文件即平均文件大小小于64M(可调)的非分区表总数

• mysql 查询资源控制

• 扫描的hivemetastore的DBLS，TBLS，PARTITIONS 表的字段都有索引

• 默认对分区为10000及以上的分区个数不进行扫描，可按照需求调整

• 取分区数据按照批次获取，每次获取100条，可按照需求更改大小，分区数过多也不用担心

• 扫描并发默认2，可按需调整

• 合并小文件时 yarn 资源控制

• 合并过程中需要用到yarn资源，需要配置一个可以运行任务的队列和用户

• 合并时对于最少7天内分区的访问创建不进行处理，保障最常用的数据不受影响

• 支持并发提交合并任务，默认值为1即串行提交，可根据自己资源情况自行更改

• 支持单任务合并多分区，默认50个分区提一个hive任务，可按照具体资源情况调整

• 开通冷热数据表扫描

• 部署 agent 并通过系统-系统配置-配置引导-管控配置   ops_storage_ls_log_file_enable (是否开启冷热数据扫描) 开启。

• get_method 默认配置为1，即通过SCP将audit.log文件copy到对应的agent 节点进行处理，2为通过hadoop get 命令获取 存储在HDFS上的audit.log 数据

• 使用SCP时需要在对应的namenode的节点上做好对agent 节点的免密处理。
• Hive冷热数据表容量分布
• 展示目前集群的 HDFS 容量趋势(总容量及冷热数据容量),热/温/冷/极冷数据的占比。

• 数据表冷热明细

• 不同的库/表具体的冷热数据情况/大小/分区/路径/最近一次访问时间等数据展示。

• 任务分布：任务在不同维度的分布情况

• 优化信息：任务优化相关（任务开启自动优化前后对比）

• 异常信息：任务异常的统计信息，以及异常原因分布

• 数据量排行：app 和 tez dag 维度任务输入输出以及 shuffle 数据量大小排行

• 资源使用量排行：app 和 tez dag 维度任务时长、内存使用、cpu 使用排行

• 数据源：默认使用产品自带的Prometheus，客户可以新建数据源，使用自定义数据源，目前仅支持 Prometheus 源类型。

• 告警业务组：我们根据不同的监控场景内置了三个告警业务组，分别是：

• 系统组：监控 Sky DataPilot 产品服务本身相关异常指标，包括服务接口请求异常数、采集服务请求 job history 失败数等相关系统核心告警

• 节点组：监控 Sky DataPilot 产品部署服务器相关异常指标，当服务器出现异常时，可以及时将服务器异常事件告警出来

• 业务组：监控客户大数据任务相关异常指标，比如：任务失败、数据倾斜等

• 规则配置：告警能够触发的具体配置，包含：

• 连续满足多少次表达式

• 查询频率

• 告警阈值表达式

• 告警级别

• 重复通知频率

• 告警最大发送次数

• 告警恢复是否需要通知

• 观留时长

• 告警通知：支持配置多个告警渠道（邮件、短信、飞书机器人等），多个告警通知组，当前仅有商业版支持将告警推送到外部渠道。

• 告警业务组：告警业务组指的是在新建告警规则时，定义该告警属于哪一个告警业务组，对告警规则进行基础的分类。

• 告警成员：需要将告警通知到的人员，通知渠道支持短信告警、邮箱通知、飞书、钉钉、企业微信机器人通知。

• 告警通知组：告警通知组包含至少一个告警成员，新建告警规则时，至少需要绑定一个告警通知组，在组内的全部告警成员都能收到告警消息推送。

• 数据源管理：告警监控的指标数据源，默认是 Sky DataPilot 产品自带的 Prometheus 服务。

• 消息通知：配置短信、邮箱、webhook告警通知的相关基础配置，例如邮箱服务器配置、短信告警服务商配置、短信告警模板配置等。

• 系统管理员：

• 用户管理：拥有新增、删除管理员和普通用户权限，以及修改管理员和普通用户角色权限。

• 其他：拥有服务配置查看和修改权限以及容器终端登入权限

• 管理员：

• 用户管理：无任何新增、删除、管理用户角色的权限。

• 其他：拥有服务配置查看和修改权限以及容器终端登入权限

• 普通用户：无任何新增、删除、管理用户角色的权限。

• 用户管理：无任何新增、删除、管理用户角色的权限。

• 其他：仅拥有服务配置查看权限，无容器终端登入权限