blog/BigData-Notes
2
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

更换图片源

Browse Source
This commit is contained in:
罗祥
2020-05-25 11:05:03 +08:00
parent 0d6f0c8cc6
commit 7bcf53a7b2
85 changed files with 391 additions and 391 deletions
Download Patch File Download Diff File Expand all files Collapse all files

36
notes/Azkaban_Flow_1.0_的使用.md
View File

@@ -27,7 +27,7 @@ Azkaban 主要通过界面上传配置文件来进行任务的调度。它有两
在 Azkaban 主界面可以创建对应的项目：
<div align="center"> <img src="../pictures/azkaban-create-project.png"/> </div>
<div align="center"> <img src="https://gitee.com/heibaiying/BigData-Notes/raw/master/pictures/azkaban-create-project.png"/> </div>
### 2.2 任务配置
@@ -43,29 +43,29 @@ command=echo 'Hello Azkaban!'
将 `Hello-Azkaban.job ` 打包为 `zip` 压缩文件：
<div align="center"> <img src="../pictures/azkaban-zip.png"/> </div>
<div align="center"> <img src="https://gitee.com/heibaiying/BigData-Notes/raw/master/pictures/azkaban-zip.png"/> </div>
通过 Web UI 界面上传：
<div align="center"> <img src="../pictures/azkaban-upload.png"/> </div>
<div align="center"> <img src="https://gitee.com/heibaiying/BigData-Notes/raw/master/pictures/azkaban-upload.png"/> </div>
上传成功后可以看到对应的 Flows：
<div align="center"> <img src="../pictures/azkaban-flows.png"/> </div>
<div align="center"> <img src="https://gitee.com/heibaiying/BigData-Notes/raw/master/pictures/azkaban-flows.png"/> </div>
### 2.4 执行任务
点击页面上的 `Execute Flow` 执行任务：
<div align="center"> <img src="../pictures/azkaban-execute.png"/> </div>
<div align="center"> <img src="https://gitee.com/heibaiying/BigData-Notes/raw/master/pictures/azkaban-execute.png"/> </div>
### 2.5 执行结果
点击 `detail` 可以查看到任务的执行日志：
<div align="center"> <img src="../pictures/azkaban-successed.png"/> </div>
<div align="center"> <img src="https://gitee.com/heibaiying/BigData-Notes/raw/master/pictures/azkaban-successed.png"/> </div>
<div align="center"> <img src="../pictures/azkaban-log.png"/> </div>
<div align="center"> <img src="https://gitee.com/heibaiying/BigData-Notes/raw/master/pictures/azkaban-log.png"/> </div>
## 三、多任务调度
@@ -114,17 +114,17 @@ dependencies=Task-D
压缩后进行上传，这里需要注意的是一个 Project 只能接收一个压缩包，这里我还沿用上面的 Project，默认后面的压缩包会覆盖前面的压缩包：
<div align="center"> <img src="../pictures/azkaban-task-abcde-zip.png"/> </div>
<div align="center"> <img src="https://gitee.com/heibaiying/BigData-Notes/raw/master/pictures/azkaban-task-abcde-zip.png"/> </div>
### 3.3 依赖关系
多个任务存在依赖时，默认采用最后一个任务的文件名作为 Flow 的名称，其依赖关系如图：
<div align="center"> <img src="../pictures/azkaban-dependencies.png"/> </div>
<div align="center"> <img src="https://gitee.com/heibaiying/BigData-Notes/raw/master/pictures/azkaban-dependencies.png"/> </div>
### 3.4 执行结果
<div align="center"> <img src="../pictures/azkaban-task-abcde.png"/> </div>
<div align="center"> <img src="https://gitee.com/heibaiying/BigData-Notes/raw/master/pictures/azkaban-task-abcde.png"/> </div>
从这个案例可以看出，Flow1.0 无法通过一个 job 文件来完成多个任务的配置，但是 Flow 2.0 就很好的解决了这个问题。
@@ -139,7 +139,7 @@ command=/usr/app/hadoop-2.6.0-cdh5.15.2/bin/hadoop fs -ls /
执行结果：
<div align="center"> <img src="../pictures/azkaban-hdfs.png"/> </div>
<div align="center"> <img src="https://gitee.com/heibaiying/BigData-Notes/raw/master/pictures/azkaban-hdfs.png"/> </div>
## 五、调度MR作业
@@ -152,7 +152,7 @@ command=/usr/app/hadoop-2.6.0-cdh5.15.2/bin/hadoop jar /usr/app/hadoop-2.6.0-cdh
执行结果：
<div align="center"> <img src="../pictures/azkaban-mr.png"/> </div>
<div align="center"> <img src="https://gitee.com/heibaiying/BigData-Notes/raw/master/pictures/azkaban-mr.png"/> </div>
## 六、调度Hive作业
@@ -185,25 +185,25 @@ desc emp;
打包的时候将 `job` 文件与 `sql` 文件一并进行打包：
<div align="center"> <img src="../pictures/azkaban-hive.png"/> </div>
<div align="center"> <img src="https://gitee.com/heibaiying/BigData-Notes/raw/master/pictures/azkaban-hive.png"/> </div>
执行结果如下：
<div align="center"> <img src="../pictures/azkaban-hive-result.png"/> </div>
<div align="center"> <img src="https://gitee.com/heibaiying/BigData-Notes/raw/master/pictures/azkaban-hive-result.png"/> </div>
## 七、在线修改作业配置
在测试时，我们可能需要频繁修改配置，如果每次修改都要重新打包上传，这会比较麻烦。所以 Azkaban 支持配置的在线修改，点击需要修改的 Flow，就可以进入详情页面：
<div align="center"> <img src="../pictures/azkaban-project-edit.png"/> </div>
<div align="center"> <img src="https://gitee.com/heibaiying/BigData-Notes/raw/master/pictures/azkaban-project-edit.png"/> </div>
在详情页面点击 `Eidt` 按钮可以进入编辑页面：
<div align="center"> <img src="../pictures/azkaban-edit.png"/> </div>
<div align="center"> <img src="https://gitee.com/heibaiying/BigData-Notes/raw/master/pictures/azkaban-edit.png"/> </div>
在编辑页面可以新增配置或者修改配置：
<div align="center"> <img src="../pictures/azkaban-click-edit.png"/> </div>
<div align="center"> <img src="https://gitee.com/heibaiying/BigData-Notes/raw/master/pictures/azkaban-click-edit.png"/> </div>
## 附：可能出现的问题
@@ -213,7 +213,7 @@ desc emp;
Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job
```
<div align="center"> <img src="../pictures/azkaban-memory.png"/> </div>
<div align="center"> <img src="https://gitee.com/heibaiying/BigData-Notes/raw/master/pictures/azkaban-memory.png"/> </div>
如果你的执行主机没办法增大内存，那么可以通过修改 `plugins/jobtypes/` 目录下的 `commonprivate.properties` 文件来关闭内存检查，配置如下：