lsとstatでは表示されるタイムスタンプが9時間異なる。 $ hadoop fs -ls /user/hive/warehouse/hoge/ Found 1 items -rw-r--r-- 3 hadoop supergroup 189 2011-10-24 17:45 /user/hive/warehouse/hoge/sequencefile $ hadoop fs -stat /user/hive/warehouse/…

10/19（水）に都内某所でログ解析飲み会なるものを開催した。ログ解析飲み会なのにログが無いってどういうこと？と某氏に突っ込まれたので酔っぱらいの記憶をたよりに書いてみる。ここには書けないオフレコ話も多々あったように思うが忘れたので書かない。ま…

WEB+DB PRESS 総集編 / I told my code to sing - Backnumbers: Steps to Phantasien相変わらず面白いエントリを書いていて素晴らしいですね。リンク先にあるようなレベルの高い話は置いておいて僕自身にとってプログラミングの抽象というのは何だろうという…

多分有名だと思うけどまずはこちらLinux-DB システム構築/運用入門 (DB Magazine SELECTION)作者: 松信嘉範出版社/メーカー: 翔泳社発売日: 2009/09/17メディア: 単行本（ソフトカバー）購入: 55人 クリック: 3,402回この商品を含むブログ (32件) を見るDRBD…

というようなことを子象本読んでいて思った。もちろんソフトウェアを開発するにあたってはHadoop関係無くアルゴリズムに関するスキルが必要です。 アルゴリズムの勉強というのは、スポーツで言えば腕立て伏せや走り込みみたいな基礎体力を養うようなもので、…

難しいと評判の6章ですが、撃沈しますたw6.1.2ぐらいまではなんとなくわかりました。昔、バイオインフォマティックスやってた頃にEMアルゴリズムでハプロタイプ推定するプログラムの調査とかしたんだけどなー。遠い目。。。6.1.5までに関しては 第4回MapRedu…

4章は転置インデックスの生成をMapReduceでどう実現するかという話。 4.3 転置インデックスの生成：基準となる実装 では素朴な実装が示されています。疑似コードはこんな感じこの場合Reduce側ではメモリ上でのソートが走るのでスケーラビリティに問題があり…

5章はグラフアルゴリズムの内容。並列幅優先検索の疑似コードはこちらJavaでの実装例はこちら参照MapReduce デザインパターン (6) - めもめもちなみにこのアルゴリズムの内容を理解するにはこちらのスライドのp24からp35を見るのがいいです。具体例が出てい…

Hadoop MapReduce デザインパターン ―MapReduceによる大規模テキストデータ処理作者: Jimmy Lin,Chris Dyer,神林飛志,野村直之,玉川竜司出版社/メーカー: オライリージャパン発売日: 2011/10/01メディア: 大型本購入: 4人 クリック: 254回この商品を含むブロ…