AzkabanAzkaban使用实战

1．shell command调度

  • 创建job描述文件
vi command.job
#command.job
type=command                                                    
command=echo 'hello'
  • 将job资源文件打包成zip文件
    zip command.job
  • 通过azkaban的web管理平台创建project并上传job压缩包
    首先创建Project
  • 上传zip包
  • 启动执行该job

2．job依赖调度

  • 创建有依赖关系的多个job描述
    第一个job：foo.job
# foo.job
type=command
command=echo foo
  • 第二个job：bar.job依赖foo.job
# bar.job
type=command
dependencies=foo
command=echo bar
  • 将所有job资源文件打到一个zip包中
  • 在azkaban的web管理界面创建工程并上传zip包
  • 启动工作流flow

3．HDFS任务调度

  • 创建job描述文件
# fs.job
type=command
command=/home/hadoop/apps/hadoop-2.6.1/bin/hadoop fs -mkdir /azaz
  • 将job资源文件打包成zip文件
  • 通过azkaban的web管理平台创建project并上传job压缩包
  • 启动执行该job

4．MAPREDUCE任务调度

mr任务依然可以使用command的job类型来执行

  • 创建job描述文件，及mr程序jar包（示例中直接使用hadoop自带的example jar）
# mrwc.job
type=command
command=/home/hadoop/apps/hadoop-2.6.1/bin/hadoop  jar hadoop-mapreduce-examples-2.6.1.jar wordcount /wordcount/input /wordcount/azout
  • 将所有job资源文件打到一个zip包中
  • 在azkaban的web管理界面创建工程并上传zip包
  • 启动job

5．HIVE脚本任务调度

  • 创建job描述文件和hive脚本
    Hive脚本： test.sql
use default;drop table aztest;create table aztest(id int,name string) row format delimited fields terminated by ',';load data inpath '/aztest/hiveinput' into table aztest;create table azres as select * from aztest;insert overwrite directory '/aztest/hiveoutput' select count(1) from aztest;
  • Job描述文件：hivef.job
# hivef.job
type=command
command=/home/hadoop/apps/hive/bin/hive -f 'test.sql'
  • 将所有job资源文件打到一个zip包中创建工程并上传zip包,启动job

6．定时任务调度

除了手动立即执行工作流任务外，azkaban也支持配置定时任务调度。开启方式如下：
首页选择待处理的project




上述图片中，选择左边schedule表示配置定时调度信息，选择右边execute表示立即执行工作流任务。