2011-07-13から1日間の記事一覧

HDFSのファイル書き込み部分のソースを読んでみた Part2

前回はこちら HDFSのファイル書き込み部分のソースを読んでみた - wyukawa’s blogResponseProcessorスレッドをstartする前にnextBlockOutputStreamメソッドを呼び出しデータノードと接続します。 // get new block from namenode. if (blockStream == null) …

Hiveでの空文字、NULLの扱い

ちょっと混乱したけど、どうもこういうことっぽい。 カラムの型 テーブルにロードするファイルでの値 HDFS上の値 selectした場合の表示 IS NULL判定結果 int 空文字でない文字列 空文字でない文字列 NULL true int 空文字 空文字 NULL true string NULLとい…

Hiveを動作させる場合の環境の切り替え方法

Hiveでテストする場合の話ですが、データ量が少ないならVirtualBox上のLinuxにCDHを擬似分散で入れてHiveを動かしてテストすればいいと思います。ただある程度のデータ量がないとテストにならないという場合もあるでしょう。本番環境で試行錯誤したいという…