2015年振り返り

etc

昨日が仕事納めでした。

今年も去年に引き続いてHadoop, Hive, Presto, Azkabanを使ってのログ分析環境の整備をしつつETL書いてというのをやっていたんですが、大きな違いとしてOSSプロダクトをいくつかリリースしました。そんな大層なもんじゃないですけど。

https://github.com/wyukawa/yanagishima
https://github.com/wyukawa/chaco
https://github.com/wyukawa/ayd

そのせいかGitHubにも草がちょっと生えて嬉しいです。

とりわけyanagishimaはチーム内で割とヘビーに使われるようになってきてとても嬉しいです。

また去年作った
https://github.com/wyukawa/eboshi
も必要に応じて手を入れてます。

一応言っておくと、これらは全部業務に関係するもので業務時間に作ったものです。
何かしらプロダクトを作ることが業務として求められているし、僕自身の評価の対象になっています。

言うまでもないですが、このような環境は恵まれていますし、そうあるものではありません。
僕は2002年に就職して以来10年以上IT業界で働いていていましたが、このような環境は初めてです。

このような環境を自分の実力で勝ち取ったという側面も若干はありますが、たぶんにタイミングというか運による部分も大きいです。なので今以上に頑張らねばという気持ちも持っています。

プロダクトを作るときに考えたことは、多少なりとも自分で使うものにしようということです。自分で使わないものに情熱は持てないだろうと思ったからです。普段の業務をしているなかで自分がちょっと不便だなって思ったものをプロダクトとして切り出そうと思っていました。そしてどんなにしょぼくてもまずはリリースして身近な人に使ってもらってフィードバックを得ることを考えていました。その試みはまずまず成功したかなと思っています。

身近に著名なOSSプロダクトをだしている人がいたのでそういう人たちとは比べるべくもないですけど、まあ最初の1歩は踏み出せたかなと思っています。そういう人たちからはどの部分に問題意識を持ったのか？どの部分を汎用的なものとして切り出してOSSとして出していくのか？などを遠くから学んだ気がします。

僕が4年前は人売りで売られる立場で客先常駐してSEに言われたことをただやるPGだったことを考えると、今はだいぶ恵まれているし、楽しいし、また評価もされています。

次のプロダクトもなんか考えたいんですけど、今のところノーアイデアです。

基本的には僕は自作厨でもなんでもなくてむしろOSSプロダクトを組み合わせてシステムを作ります。

例えばHadoopやPrestoを分析基盤で使うのは普通なことですが、Cognosがあるなかでそれをどういかすかを考えた時にPrestogresがターゲットになりました。ちゃんとつながるまでにはだいぶ苦労したしfrsyukiさんにはだいぶお世話になりました。最初はODBCでしかつながらなくてうまくpushdownできないとかありましたが今はJDBCでもつなげるようになって欠かせないものになりました。

ジョブ管理はAzkabanを活用しています。足りない部分はeboshiやaydといったツールを自作しました。

このようにシステムのベースは既存のOSSプロダクトで足りない細かい部分を自作していったという感じです。この流れは来年も変わらないと思います。

今年はFluentd, Norikra, Elasticsearch, Kibanaあたりに少し触れたので来年もその辺をもう少しやりたいなと思っています。あとキューとしてKafkaの採用も考えています。FluentdからKafkaにながしてあとは好きにやるみたいにしようかなと。今は柔軟な流量制御のためにNorikraを使っているんですが、集計しているわけでもないし若干これじゃない感があるのでKafkaに変えようかなあと思っています。あとHDP2.1からアップグレードしなきゃ。

仕事以外だとランニングは続けてます。今年はフルマラソンを6回走りました。
今のところのベストタイムは3時間48分です。3時間30分まで狙いたいとは思ってますが、今の練習量と体重だと難しいかも。

会社の補助もあってレアジョブを3月から始めました。あと自腹でiKnowを9月下旬から始めました。まだ成果はそんなに出てないですけど、英語も頑張らねば。

今年もイギリスにプレミアリーグ観戦行きましたが、来年も行きたいなと思っています。プレミアリーグは最高だし、英語の勉強のモチベーションアップにもつながりそうなので。

まあそんな感じです。来年もよろしくお願いします。