2012-01-01から1年間の記事一覧
いやー、昨日のマンチェスター・シティvsQPRは劇的な試合だった。シティ優勝おめでとう！アーセナルに負けてユナイテッドと勝ち点差8になったときはタイトルはユナイテッドのものだと思ったがすごいね。試合前の状況はシティとユナイテッドが勝ち点で並んで…
またHiveのチューニングネタです。以下のような単一のテーブルを入力として集計キーごとにそれぞれ個別に集計したいというケースがあります。 カラム1 カラム2 カラム3 ... 集計キー1 集計キー2 集計キー3 ... ええと具体例が無いとわからないですよね（汗こ…
以前 Hiveのjoinの最適化 - wyukawa’s blog で書きましたがHive 0.7からjoinの最適化が図られています。本家のドキュメントはこちら https://cwiki.apache.org/Hive/joinoptimization.html なぜか画像が無い。。。どういうものかというとjoinする際に片方の…
Webエンジニアのための データベース技術[実践]入門 (Software Design plus)作者: 松信嘉範出版社/メーカー: 技術評論社発売日: 2012/03/09メディア: 単行本（ソフトカバー）購入: 20人 クリック: 486回この商品を含むブログを見る僕はWebエンジニアではない…
並列分散処理の常識をHadoopファミリから学ぶ (3/3)：ビッグデータ処理の常識をJavaで身につける（2） - ＠ITが興味深かったのでここで紹介されている「in-mapper combining」について書いてみたいと思います。Hadoop MapReduce デザインパターン ―MapReduce…
継続的デリバリー 信頼できるソフトウェアリリースのためのビルド・テスト・デプロイメントの自動化作者: David Farley,Jez Humble,和智右桂,高木正弘出版社/メーカー: KADOKAWA/アスキー・メディアワークス発売日: 2012/03/14メディア: 大型本購入: 24人 ク…
クレジットカード現金化詐欺【業界人が教える口コミ情報】僕は行ってないんですがTwitter、Ustream、スライド、ブログなどを見る限りだいぶ盛り上がったようですねー。僕自身が仕事で使う予定は今のところ無いんですがログ解析関連の仕事をしていることもあ…
テレコム業界のCDR(Call Detail Record)の解析をOracleからHiveにマイグレーションした資料を見つけたのでめもっておく。 Hadoop World 2011: Replacing RDB/DW with Hadoop and Hive for Telco Big Data - Jason Han, NexR View more presentations from Cl…
考えてみるとここ1年はJavaのコードはほとんど書いていなくてそれよりはシェルスクリプトを書いている機会の方が多かった。なのでここら辺でシェルスクリプトを書いていてハマったところというかちょっとしたTipsをメモっておこうと思う。前提としてBashであ…
ログ解析についてつらつらと考えていることを書いてみたいと思います。Hadoopを用いたログ解析によってマーケティングを変革し売り上げを向上させようという話はよくあります。この手の話はたいていBtoCで例としてはメールでレコメンドして商品を買ってもら…
今シーズンからプレミアリーグをTV(JSPORTS)で見るようになったんですが関連して面白そうな情報源があったのでメモっておく。英語の勉強にもいいかも。プレミアリーグを紹介する書籍としては下記があります。2009年出版なので選手の所属が変わってたりしてま…
ユナイテッド戦でスアレスさんがエブラに人種差別的発言をしたとして8試合の出場停止処分を言いわたされています。リバプールはずっとスアレスをサポートし異議申し立てをしています。マンチーニさんはこのスアレス問題に対して次のようにコメントしています…
8月に始まった2011-2012 プレミアリーグの試合をTV(JSPORTS)で見るようになりました。すごく面白いです。Jリーグ、日本代表の試合と比べるとスピード感が全然違いますね。てかバルセロナの試合よりもスピード感あります。バルセロナの試合は2,3見たことある…
