2013年の振り返りです。一言で言うとHadoopでログ解析してました。データ量がどんどん増えてそれにともないノード数も増えました。あとジョブ数も増えましたね。扱うミドルウェアもHadoop/HiveだけじゃなくてHBaseやStorm、あとはAzkabanやfluentdといったも…

fluentdにはin_monitor_agentというプラグインが標準で入っていてこれを使うとバッファの状態、具体的な項目としてはretry_count, buffer_total_queued_size, buffer_queue_lengthをモニタリングすることができます。参考にしたもの： How does it feel?: td…

http://kzk9.tumblr.com/post/69268410641/2013-hadoop-treasure-dataを見て良いエントリだなと思いつつそういやHadoopのMapReduceの運用ってどうやんのがいいんだろって思って本エントリを書きました。Treasure Dataに限らずある程度の規模のHadoopクラスタ…