目录

一、数据清洗调度

1.上传所需jar包

2.job文件写入

二、数据入库且数据分析调度

1.job文件写入

2.上传sql文件 

3.打包

三、实现自动化

1.开启exec服务

 2.激活exec服务

3.开启web服务 

4.登录Azkaban 

5.新建一个项目上传压缩包

 6.查看项目结构

8.运行出错 

9.重新运行无效

 10.Mr阶段运行成功

 11.Hive阶段检查出代码有误漏写分号

 12.查看结果

---

一、数据清洗调度

1.上传所需jar包

2.job文件写入

二、数据入库且数据分析调度

1.job文件写入

2.上传sql文件 

3.打包

三、实现自动化

在开启azkaban调度前将hive数据仓库中的weblog数据库删除

1.开启exec服务

 2.激活exec服务

curl -G "localhost: 38978/executor?action=activate" && echo

3.开启web服务 

4.登录Azkaban 

5.新建一个项目上传压缩包

 6.查看项目结构

7.开始运行

8.运行出错 

查阅多个资料，需要指定azkaban.native.lib地址

9.重新运行无效

将azkaban.properties文件中azkaban.jobtype.plugin.dir的路径改为绝对路径

 10.Mr阶段运行成功

 11.Hive阶段检查出代码有误漏写分号

修改重新打包重新运行，运行成功

 12.查看结果