2012-12-01から1ヶ月間の記事一覧

HBaseのJuliet Pauseとリージョン復旧について

HBaseにはJuliet Pauseというよく知られた障害のシナリオがあります。 The HBase development team has affectionately dubbed this scenario a Juliet Pause ― the master (Romeo) presumes the region server (Juliet) is dead when it’s really just slee…

2012振り返り

etc

今日が今年の仕事納めでした。定点観測的な意味合いで1年を簡単に振り返ってみたいと思います。 今年も去年に引き続きHadoopにどっぷりな1年でしたね。あとは11月に転職したのが大きなトピックですね。 特に体調を崩すこと無く過ごせたのは良かったです。フ…

HBaseのバルクロードというかHFile生成方法

HBaseにデータをロードする場合はバルクロードを使うのが性能的には良いと思います。HTable#putだとWALをオフにしても遅いんですよね。バルクロードに関しては馬本の12.2.3を読むと良いと思います。バルクロードを使うためにはHBase用のデータファイル、HFil…

入力データの性質によってはOutOfMemoryになってしまうHBaseへのデータ投入用のReduceタスクをどうすべきか?

今週ずっと考えているんだけど今のところの結論としてはデータを捨てるしかないかなと思ってる。 ちょっと整理されていない、というかオレの頭が混乱している感がありありだけどラフなメモ書き。例をあげるとこんな感じのユーザの行動ログがHDFSにあるとしま…

マタのブログを訳してみた

クラブワールドカップのため来日しているチェルシーのマタのブログの内容が面白かったのでGoogle翻訳を駆使して超訳してみました。原文はこちら http://blogs.grada360.com/juanmata/en/2012/12/10/un-nuevo-pais-un-nuevo-desafio/どうでもいいけどこのブロ…

HBaseについての情報源

クレジットカード現金化詐欺【業界人が教える口コミ情報】 の12/2分として書きます。内容は薄いというかHBaseの情報源についてのまとめエントリです。■本家 Top http://hbase.apache.org/ JIRA https://issues.apache.org/jira/browse/HBASE Subversion http…