From ed5eca2f3910cd8f3c512d7c8564f78e870c1f42 Mon Sep 17 00:00:00 2001 From: xking Date: Thu, 25 Apr 2024 10:31:56 +0800 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0=20dolphinscheduler=20?= =?UTF-8?q?=E6=95=B0=E6=8D=AE=E8=B4=A8=E9=87=8F=E6=A0=A1=E9=AA=8C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../dolphinscheduler-集群部署.md | 31 ++++++++++++++++--- 1 file changed, 27 insertions(+), 4 deletions(-) diff --git a/dolphinscheduler/dolphinscheduler-集群部署.md b/dolphinscheduler/dolphinscheduler-集群部署.md index 7c5205f..7927cb2 100644 --- a/dolphinscheduler/dolphinscheduler-集群部署.md +++ b/dolphinscheduler/dolphinscheduler-集群部署.md @@ -77,13 +77,36 @@ include_toc: true kerberos.expire.time=2 ``` - +5. 数据源 -5. 配置数据质量校验 + 如需要添加数据源，首先将驱动添加至，api-server,worker-server,master-server 的lib 目录下 + + - 添加 kerberos 认证的hive，需要在 配置全局文件系统 中配置 conf ，kerberos 用户与证书（默认） + + - 替换 api-server,worker-server,master-server 服务中 hive-* 相关的jar包为 cdh/cdp 中的依赖， + + cdh/cdp 路径 + + ``` + /opt/cloudera/parcels/CDH/lib/hive/lib + ``` + + - 在页面上 的自定义参数中添加 + + ``` + {"principal":"hive/bigdata57.cua.internal@CUA-KDCSERVER"} + ``` + + + +6. 配置数据质量校验 编辑 每个模块的 `common.properties` 确定 `data-quality.jar.name=`配置的名字与模块libs 目录下的jar 名字一样。然后将数据源中的数据类型对应的驱动，以及存储dolphinscheduler 元数据的数据库jdbc驱动 复制到 api-server,worker-server 的libs 目录下。 -6. 配置yarn + 1. 数据校验包默认不带驱动需要带入驱动，（可以用hdfs 分布式文件系统） + 2. 校验 kerberos 认证的hive 需要代入 + +7. 配置yarn 将 yarn的hostName 与port 端口进行修改 @@ -99,7 +122,7 @@ include_toc: true ``` -7. 开始安装 +8. 开始安装 执行 bin/ install.sh 进行安装，安装完成后 访问api-server 的hostName:12345/dolphinscheduler/ui/login