2014振り返り

今日が仕事納めでした。

今年もHadoopでログ解析してた1年でした。
5月に異動したので、1月〜4月とそれ以降では環境はずいぶん変わりました。

異動先でIRCを最初使ってたのですが、途中からHipChatに変わりました。今となってはSlackの方が良さげではありますが、まあHipChatも使えてます。

1月〜4月では、fluent-plugin-webhdfs経由でHadoop 1.2.1のHDFSにデータをappendで書き込もうとしてCORRUPTになって困ったり、shibを運用するようになったり、Prestoを試験的に試したりしてました。

ビッグデータ相手だったので困難なことも多かったです。

初のフルマラソンを走ったのは4月。途中までは良かったけど腸脛靭帯炎になりました。お約束ですね。

腸脛靭帯炎に関しては医者にも行ったしネットとかランニング本読んだりもしてストレッチしたりザムスト付けたりしたんですがあんまり効果は無かったです。
理学療法士に指導してもらって継続的にリハビリした結果、8月頃には治りました。なおザムストは今でも付けてます。
結局のところ、腸脛靭帯炎に関して頼りになるのは医者ではなくて理学療法士です。まあそもそも医者の専門領域じゃないです。

10月に２度目のフルマラソンを走って、この時は膝は痛くならなかったですが、途中でばてて歩きました。３度目のフルマラソンは来年2月の予定です。東京じゃないです。徳島に行ってきます。

仕事の話に戻ると5月に異動して、そこで新規にHadoopクラスタを作ってPrestoも導入しました。
fluentdは使ってないです。ログ収集はしてなくてsqoopでDBからデータ取ってくるのがほとんどです。

完全に新規だったのでやりたいようにやれました。こういうのってストレスフリーで良いですね。

HadoopはHDP2.1をAmbariでセットアップしました。PrestoはAnsibleで管理してます。

ジョブ管理はAzkaban2を使って、ETL処理はPythonを使って書いてます。この辺は異動前の部署でやっていたことを引き継いでブラッシュアップしました。

BIツールとしてCognosを使っているのでこれとPrestoをつなぐためにPrestogresも導入しました。

Prestogresはまだ0.4.8をproductionで使っている状態なのですが、CognosをバージョンアップしてPrestogresも上げたいなあと思っています。ただCongosのバージョンアップが大変そうです。

そういやHDPも2.2に上げたいけどどうすっかな。

あと9月にイギリス行ってプレミアリーグを5試合見てきました。良かったです。また行こうと思います。