更新 dolphinscheduler 数据质量校验
This commit is contained in:
parent
643854fd4a
commit
ed5eca2f39
@ -77,13 +77,36 @@ include_toc: true
|
|||||||
kerberos.expire.time=2
|
kerberos.expire.time=2
|
||||||
```
|
```
|
||||||
|
|
||||||
|
5. 数据源
|
||||||
|
|
||||||
|
如需要添加数据源,首先将驱动添加至,api-server,worker-server,master-server 的lib 目录下
|
||||||
|
|
||||||
|
- 添加 kerberos 认证的hive,需要在 配置全局文件系统 中配置 conf ,kerberos 用户与证书(默认)
|
||||||
|
|
||||||
|
- 替换 api-server,worker-server,master-server 服务中 hive-* 相关的jar包为 cdh/cdp 中的依赖,
|
||||||
|
|
||||||
|
cdh/cdp 路径
|
||||||
|
|
||||||
|
```
|
||||||
|
/opt/cloudera/parcels/CDH/lib/hive/lib
|
||||||
|
```
|
||||||
|
|
||||||
|
- 在页面上 的自定义参数中添加
|
||||||
|
|
||||||
|
```
|
||||||
|
{"principal":"hive/bigdata57.cua.internal@CUA-KDCSERVER"}
|
||||||
|
```
|
||||||
|
|
||||||
|
|
||||||
5. 配置数据质量校验
|
|
||||||
|
6. 配置数据质量校验
|
||||||
|
|
||||||
编辑 每个模块的 `common.properties` 确定 `data-quality.jar.name=`配置的名字与模块libs 目录下的jar 名字一样。然后将数据源中的数据类型对应的驱动,以及存储dolphinscheduler 元数据的数据库jdbc驱动 复制到 api-server,worker-server 的libs 目录下。
|
编辑 每个模块的 `common.properties` 确定 `data-quality.jar.name=`配置的名字与模块libs 目录下的jar 名字一样。然后将数据源中的数据类型对应的驱动,以及存储dolphinscheduler 元数据的数据库jdbc驱动 复制到 api-server,worker-server 的libs 目录下。
|
||||||
|
|
||||||
6. 配置yarn
|
1. 数据校验包默认不带驱动需要带入驱动,(可以用hdfs 分布式文件系统)
|
||||||
|
2. 校验 kerberos 认证的hive 需要代入
|
||||||
|
|
||||||
|
7. 配置yarn
|
||||||
|
|
||||||
将 yarn的hostName 与port 端口进行修改
|
将 yarn的hostName 与port 端口进行修改
|
||||||
|
|
||||||
@ -99,7 +122,7 @@ include_toc: true
|
|||||||
|
|
||||||
```
|
```
|
||||||
|
|
||||||
7. 开始安装
|
8. 开始安装
|
||||||
|
|
||||||
执行 bin/ install.sh 进行安装,安装完成后 访问api-server 的hostName:12345/dolphinscheduler/ui/login
|
执行 bin/ install.sh 进行安装,安装完成后 访问api-server 的hostName:12345/dolphinscheduler/ui/login
|
||||||
|
|
||||||
|
Loading…
x
Reference in New Issue
Block a user