Azkabanのジョブファイルを自動生成するツールを書きました

aydはAzkaban YAML DSLの略です。

たいした事は全然やってなくて要するにYAMLからプロパティファイルを作っているだけです。

例えば、

のようなAzkabanのflowがあるとして、本来なら以下のようなファイルを用意する必要があります。

foo.job

retry.backoff=300000
retries=1
command=echo "foo"
type=command

bar.job

retry.backoff=300000
retries=1
dependencies=foo
command=echo "bar"
type=command

hoge.job

retries=2
dependencies=foo
command=echo "hoge"
retry.backoff=30000
type=command
command.1=echo "hoge1"

piyo.job

retry.backoff=300000
retries=1
dependencies=bar, hoge
command=echo "piyo"
type=command

4つもファイル作るの面倒ですよね。1つにしたいですよね。

そこで下記のようなファイルを用意してaydを実行すれば上記ファイルを自動生成します。

foo:
  type: command
  command: echo "foo"
  retries: 1
  retry.backoff: 300000

bar:
  type: command
  command: echo "bar"
  dependencies: foo
  retries: 1
  retry.backoff: 300000

hoge:
  type: command
  dependencies: foo
  command: echo "hoge"
  command.1: echo "hoge1"
  retries: 2
  retry.backoff: 30000

piyo:
  type: command
  dependencies: bar, hoge
  command: echo "piyo"
  retries: 1
  retry.backoff: 300000