天気が心配されたけど、雨は上がり快晴のもと16km走ってきました。スタートとゴールが江ノ島です。ネットタイム1時間21分4秒という結果でした。だいたい1km5分ってところですね。小江戸川越マラソン2013でハーフマラソン走ってきた - wyukawa’s blogのときよ…

結論から先に書くと 夜間のcron実行はなるべくさける 金曜デプロイ禁止 です。 なぜ我々は業務時間外、主に酒を飲んだり寝ている時に障害対応をするハメになるのか - oranie's blogを読んで自分が思うことをつらつらと書いてみます。コンテキストをはっきり…

shibには認証機能は無いのですが、認証をつける必要が出てきたりします。固定パスワードによるBasic認証であればexpress.basicAuthを使えばいいらしいというのはわかったので対応してpull requestでも出すかーとか思ってました。で、でもですね、誰がどうい…

アプリのログなんかを正規表現使ってHiveにぶっ込む場合には以下のようにします。 CREATE TABLE hoge ( hostname string, ... ) PARTITIONED BY ( ymd STRING ) ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe' WITH SERDEPROPERTIES …

CROSS 2014の分散処理システムCROSSってのをUSTREAMで聞いてたらHadoopの運用の話が出てたのでその辺の話について書いてみようと思います。ひとくちにHadoopの運用っていっても業務形態（自分達で運用して自分達で使うのか、Treasure Dataのようにお客さんに…

Hiveのテーブルで日付毎にパーティションを作るってよくやりますよね。でもってこんな感じのクエリなげたりしますよね。 select count(distinct user_id) from daily_log where yyyymmdd='20131201' で、もし１ヶ月分の日ごとのUUが欲しいとか言われたら sel…

http://ch.nicovideo.jp/syachosan/blomaga/ar432119を読んで思ったことをつらつらと書いてみる。プログラミングをどうやって勉強するかっていうのはいろいろやり方あると思うけど、よく聞くのは何か作りたいものがある→どうやって作るのか調べる→実際に手を…

いろいろな部署でデータ分析するようになると「うちのデータとおまえんところのデータを結合して解析したいからデータをくれ、もしくはおれのデータをおたくのクラスタにインポートしてくれ」みたいな話が出るようになります、たぶん。1つのHadoopクラスタに…

プレミアリーグ恒例の冬の過密スケジュールが終わり20節が終わった時点での順位表は下記の通り。 順位 チーム名 試 勝 分 負 得 失 差 勝点 1 アーセナル 20 14 3 3 39 18 21 45 2 マンチェスター・シティ 20 14 2 4 57 23 34 44 3 チェルシー 20 13 4 3 38 …