記録はグロスで1時間42分51秒、ネットで1時間42分7秒でした。runtasticと取ったタイムはこんな感じ最近は走行距離がのびているせいかタイムも右肩上がりなんだけど、そのかわり右ひざと右の鼠蹊部に違和感があるのでちょっと気がかり。これで今年は走り納め…

今日が仕事納めでした。今年もHadoopでログ解析してた1年でした。 5月に異動したので、1月〜4月とそれ以降では環境はずいぶん変わりました。異動先でIRCを最初使ってたのですが、途中からHipChatに変わりました。今となってはSlackの方が良さげではあります…

MySQLのslow queryを可視化するnata2というプロダクトがあります。詳細は下記参照。MySQL Casual Talks vol 6.でNata2について発表してきた - Studio3104::BLOG.newで、別にこれMySQLじゃなくてもいけんじゃねって思ったのでPrestoに適用してみました。Prest…

dentry cacheの解放 - wyukawa’s blogに関連した話です。CloudForecastでのメモリモニタリングだと、Slabがどれぐらい占めているかとか分からないので、その辺も含めてモニタリングするようにしてみました。pythonライブラリprocfsを使って/proc/meminfoを解…

メモリ使用量がずっと増え続けているマシンがあったんだけどtop+shift+mしても別に特定のプロセスがメモリを食いつぶしているわけではないので原因が分からなくて困ってましたambari-serverとprestogresが動いているマシンで同じ傾向だったことから状況証拠…

ハーフマラソン走ってきました。アップダウンがあるけど、天気も良く、風の吊り橋からの景色は良かったです。どんぐらいのアップダウンかというと公式HPからとってきた画像でこんな感じ。タイムはグロスが1時間47分24秒でネットが1時間45分31秒でした。Runta…

使用するソフトウェアを選択するときに、商用製品（例：Oracle）を使うのか、自分じゃない人が作った内製ソフト（例：SIerの内製フレームワーク、Web系の独自サーバー管理ツール）を使うのか、世に出回っているOSSソフト（例：Hadoop, Spring, Presto）を使…

rebuildfm 67にNaoya Itoさんが出るというので、もしかしたらHow Google Worksの話が出るかと思ったらでなくて残念。でも別の機会に話してくれそうなのでそれを楽しみに待ちます。How Google Works作者: エリック・シュミット,ジョナサン・ローゼンバーグ,ア…

https://github.com/wyukawa/eboshiインストール方法と使い方はREADMEを見てください。名前はサザンのチャコの海岸物語の「烏帽子岩が見え〜てきた、俺の家も近い」から取りました。特に意味は無いです。 最初はAzkabanCliとかそんな感じの名前にしようかと…

職場ではGitHub Enterpriseを使ってるんだけど、僕が今まであんまりチーム開発っぽいことをしていなかったせいか、gitを使っているといってもpush機能付きのsvnを使っているみたいな感じだった。gitで使うコマンドといえばadd, diff, commit, push, pull, me…

結果はネットタイムが4時間22分12秒。サブ4を目指して走ったけど26kmあたりから失速して途中歩きながらもなんとかゴールした。左足親指に豆できてた。runtasticで取った5kmごとのラップは下記の通り30km走やんないとだめかなと思ってる。普段は12km-15kmぐら…

最近バージョンアップ頻度が上がって以前は月一ぐらいだったのに最近は週一以上の頻度でバージョンアップしているPrestoについて適当に書いてみます。\GとLAST_DAYに関してはfrsyukiさんに教えてもらいました！ \Gカラム数が多いテーブルをselectすると横に…

僕はNode.jsとはそんなに関わりはなくてshibを使っているのが唯一の接点なんだけど、http://mozaic.fm/post/99334017903/10-node-jsを聞いてたら大変に面白かったので面白かった部分について書く。このpodcastは全部で2時間以上あって全部聞くのはなかなか辛…

旅行してたこともあって走るのは約3週間ぶり。ちょっと風邪気味でもあったんだけど頑張って朝起きて走ってきました。タイムはグロスが1時間57分14秒でネットが1時間56分28秒。runtasticではかったラップはこんな感じコースは5km過ぎまでは上りで後は下る。越…

スタジアムに入場出来るのはキックオフのだいたい1時間前ぐらいっぽい。2時間前とかだとまだ入場できなかったりする。 サポーターは近場のパブで飲んで時間をつぶしているみたい。スタジアムで酒は飲めるけどスタンドの自分の席に持ち込むことはできないっぽ…

イギリス旅行 その3 - wyukawa’s blogの続きです。9/21（日） ニューカッスル駅からマンチェスター・ピカデリー駅へ電車で移動。所要時間は約3時間。 新聞のフットボール記事をチェック。シセがパーデューを救った云々の記事がある。 ホテルチェックイン後に…

イギリス旅行 その2 - wyukawa’s blogの続きです。9/19（金） ホテルで朝飯食ってたら、ホテルマンに日本語で話かけられてちょっとびびる。 なんでも昔大阪に住んでたことがあるらしい。アストンビラとガンバ大阪のファンだそうです。 今年のビラは調子が良…

イギリスにプレミアリーグ観戦旅行にきてます - wyukawa’s blogの続きです。9/17（水） 新聞のフットボール記事をチェックする。前日のリバプールのCLの試合の記事が出てる。 バロテッリとジェラードの写真があった。まあ得点者だしね。 ただこの試合は左SB…

イギリスに旅行してきました - wyukawa’s blogでイギリスに行って以来、プレミアリーグを見るようになったこともあり、いつかまたイギリスに行きたいとずっと思っていたのですが腰が重くてなかなかいけずに約3年が経ちました。今回ようやくきました。チケッ…

始発でも間に合わなそうだったので前日に福島入りして走ってきました。当日は天気も良かったです。全部で約6800人、10kmの部は約3500人ほどの参加だそうです。僕は10kmに参加しました。道路の道幅に比べて人数が多いのかちょっと混雑している印象を受けまし…

ジョブ設計についてつぶやいていたらfrsyukiさんにいろいろアドバイスもらったのでジョブ設計についてのあれやこれや - Togetterにまとめておいた。で、まあ、それをもとにしつつジョブ設計について書いてみようと思う。別にこうした方が良いとかそういう結…

以前Hiveでの集計処理とかPrestoについての話を PrestoとかAnsibleとかその辺の話を軽く書いてみる - wyukawa’s blog で書いたのですが、今はこんな感じでやっているよーという話を書きます。最近やっていることは、 Presto CLIでデータの中身を確認しつつHi…

Rebuild: 53: Less Code Is Better Code (Matz)rebuildfm 53のRubyのGCとスレッドの話が面白かったので書いてみる。RubyのGCというとクックパッドがユーザのリクエスト中にGCを止めるっていう話があったぐらいなので改善が望まれる分野なんだと思います。例…

今日はPrestoとかAnsibleとかその辺の話を軽く書いてみようと思います。突っ込んだ話が出来るわけではないのであしからず。僕のところの環境ではPrestoを使っていて、PrestoはDataNodeやNodeManagerと同居してます。主なユースケースはアドホッククエリの実…

HDP2.1環境でMySQLに対してsqoop importしたら以下のようなOutOfMemoryErrorが出た。 2014-07-29 15:58:15,994 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: GC overhead limit exceeded at com.my…

ちょっと時間経ちましたがPresto ソースコードリーディング #4に行ってきたんでその辺のことをちらほら書きます。コードはぱらっと見ておいたんだけど、ちゃんと理解しているわけではなかったこともあり議論には全くついていけなかったことをここに告白しま…

Hadoop Conference Japan 2014 Tickets, Tue, Jul 8, 2014 at 10:00 AM | Eventbrite第５回になるそうです。僕は3回目から参加していますが、毎度のことながらランチが出るし至れり尽くせりのカンファレンスですね。スタッフの皆様ありがとうございます。m( …

右膝の腸脛靭帯炎に加えて右足親指の爪のところをフットサルの接触プレーで内出血して参加するかどうか一瞬迷ったんだけど、少し走ってみて少なくとも爪の内出血は全然問題なかったので参加してきました。膝の方は不安があったのでザムストつけて走ったんで…

Ambari経由でHDPをインストールしてその際にNagiosも入れた場合は注意点があります。ここで入れたNagiosはNameNodeやResourceManagerやJobHistoryのようなマスター系のコンポーネントのCPUのチェックにSNMPを使います。そのため/etc/snmp/snmpd.confをいじっ…

HiveServer2で 「java.lang.OutOfMemoryError: unable to create new native thread」といわれた - wyukawa’s blogで書いた件だけど、GangliaのTotal Processesを見ると下記のように順調に増えていたのでやはりメモリーリークなのかなと思っています。スレッ…