抽象化スキルが、生死を分ける時代に : NED-WLTを読んでなんとなく書いてみる自分が過去にやったことある仕事と同じような仕事をアサインされた場合には対応するのが簡単でしょうが当然のことながら世の中そういう仕事ばかりではないわけです。自分がやった…

以前in-mapper combiningについて書きました。 in-mapper combining - wyukawa’s blogこれはmapper内でなるべく集約してしshuffleフェーズの負荷を下げようというものです。Hiveの場合はhive.map.aggrプロパティでこの機能のオン/オフを制御します。デフォル…

とりあえずめもっとく■本家Welcome to Apache Pig!Ver 0.9.2からドキュメントの量が増えているのでこれを読めば事足りるかも。■書籍Hadoop徹底入門作者: 太田一樹,下垣徹,山下真一,猿田浩輔,藤井達朗,濱野賢一朗出版社/メーカー: 翔泳社発売日: 2011/01/28メ…

Hiveと比べるとややマイナー感が漂うPigですが試してみると、「おお、これはちとHiveだとやりづらいけどPigだと楽かもなー」というのがあります。Nested Blockはその代表な気がするので書いてみます。今回は単純なアクセスログ解析を例とします。入力データ…

パターンでわかるHadoop MapReduce ビッグデータのデータ処理入門 (NEXT‐ONE)作者: 三木大知出版社/メーカー: 翔泳社発売日: 2012/08/28メディア: 大型本購入: 1人 クリック: 49回この商品を含むブログ (5件) を見るAmazonのレビューでは著者紹介がひどいと…