Hadoopエンタープライズソリューションセミナー〜 Big Dataを経営の力に変える鍵を探る〜　に行ってきました

まずはNTTデータ、Clouderaの皆様、貴重な機会を提供していただいてありがとうございました。_m( )m_

内容に関する詳細はこちらにもあがってますね。
2011-06-02

Togetterはこちら。ハッシュタグが無かったので追いきれてない部分もあると思います。自由に追加、削除、変更していただいてかまいません。

各発表に関しても一言ぐらい感想を書いてみますw

◎企業内データへの新しいアプローチ Key advantages of Cloudera's New Offerings
ClouderaのCEOによる発表。すげーわかりやすい英語でした。事例の簡単な紹介などどちらかというとビジネス寄りの話をしていましたね。非構造的なデータが増えてHadoopの活用範囲が広がる。でも単体じゃ使いにくいからCDHだすよ。ClouderaはHadoopの作者もいるし、コミニティーへのコントリビュートも一番してるぐらい技術力のある会社でトレーニングもやるよーてな感じ。後半はCloudera社の紹介でした。

まあClouderaはHadoopのFounderであるDoug Cuttingや象本の作者であるTom Whiteなどトップエンジニアが所属していますし、Hadoopに関してはコントリビュートというレベルじゃないぐらいコミットしていますよね。

懇親会でも僕のつたない英語で少し会話させていただきましたw
オライリーのビューティフルデータのJeff Hammerbacherの記事で出てきたデータサイエンティストという言葉に感銘を受けたって言ったんだけど伝わったかなw　ちなみにJeffは前FacebookでHiveやCassandraにタッチしていたらしい現Clouderaのエンジニアです。

◎Cloudera社の日本市場への取り組み
個人的には今回の発表では一番面白かったし参考になった。HDFSにデータ突っ込むようなスクリプトの保守は確かに考えないといけない。ていうか僕の今の現場がそうかもw

◎金融システムにおけるHadoop活用の可能性
僕が金融のドメイン知識無いので何とも言えないですが、背景から説明していていい発表だったと思います。

◎Big Data／Hadoopによる新しいビジネスの創出に向けて
テレコム事例のところ一番聞きたかったのにスルーだったw

◎Cloudera 版 Hadoop ディストリビューションの最新バージョン "CDH3" のご紹介
今同じ現場で働いている水嶋ヒロ似のイケメンの発表。最初ディスプレイの解像度の問題でデモできず最後にやることにw

◎Hadoop活用のすすめ
NTTデータのHadoop裏番長の発表。発表内容とは全然関係無い細かい突っ込みをするとマイクはもっと近づけて発表したほうがいいと思いますw

ま、それはともかく、HDFSのネームノード、データノードでのファイルのレプリカの仕方の説明とか面白かったです。レプリカ数3だとしてレプリカする3ノードを確保してから3個平列に書き込むんだけど、1個でも失敗したら全然別の3ノードを確保してやり直す。こういう素朴、シンプル、おおざっぱ？な実装なんだけど確実でいいとか話してました。

懇親会では@shiumachiさんと少し会話させていただきました。かなりアツイいいひとでした！

他にも多くの人と会話させていただきました。ありがとうございます！

会話していてわかってきたのは、HadoopがFacebookやTwitterのようなWeb業界だけでなく金融、テレコムのような分野にまで使われている要因としてBig Dataを処理するものがHadoopしかないという現状。ソフトが枯れるまでとかそんなこと言ってられないくらいに困っているお客さんもいるので、ビジネスの分野でもHadoopが多く活用されているのではとのこと。なるほど。

あと個人的に思っているのはHadoopってJavaエンジニアがいままでのスキルを多少なりともいかせる（今となっては数少ない）エッジな分野だということ。Hadoopを除くとあとはGoogle App Engine for JavaとAndroidぐらいかな。どれもGoogleがらみだw　Javaでのキャリアが大半な僕にとってはメシのタネになるかなあと思ってます。