2015-01-01から1年間の記事一覧
去年に引き続きベジタブルマラソン走ってきた。タイムはネットタイムが1時間44分17秒でした。去年が1時間42分7秒（なおこれがハーフのベストです）だったのでそれに比べると遅いけどまあこんなもんかな。 ベジタブルマラソン走ってきました - wyukawa’s blog…
昨日が仕事納めでした。今年も去年に引き続いてHadoop, Hive, Presto, Azkabanを使ってのログ分析環境の整備をしつつETL書いてというのをやっていたんですが、大きな違いとしてOSSプロダクトをいくつかリリースしました。そんな大層なもんじゃないですけど。…
結果はネットタイムが4時間14分6秒。runtasticで取ったラップが下記の通り。30km以降に落ち込んでます。大会自体は運営もしっかりしていて良い大会でした。最も印象に残っているのは応援による後押しがすごいこと。特に街中を走っている15kmから20kmの辺りは…
MySQL WorkbenchのPresto版を目指して開発していたyanagishimaもPrestoのWeb UIツールyanagishimaを書きました - wyukawa’s blogの時と比べるとだいぶ良くなったので0.1を先日リリースしました。チーム内ではメインで使ってます。出来ることはだいたい下記の…
抽選で当たったので世田谷246ハーフマラソンを走ってきた。天気はあいにくの雨。比較的小雨だったのでまだよかった。 荷物受け取りに結構時間がかかって冷えてしまった。結果はネットタイムが1時間51分11秒。runtasticのラップはだいぶずれたので割愛。GARMI…
ちまたではAirflow(https://github.com/airbnb/airflow)が話題のようですが、Azkaban(http://azkaban.github.io/)を使っている身としてはやはりAzkabanについて書かねばならないと思ったので書きます。別にAzkabanを使ってほしいという意味ではないです。む…
最近ふと思うことはIT仕事にはざっくり以下の四種類あるなということ。 一つの会社で四種類の仕事を提供している場合もあります。 第一象限の超エンジニアリング系 技術的優位性がそのままビジネスメリットに結びつくもの。 技術的にチャレンジする部分も多…
去年に続いて走ってきました。 しまだ大井川マラソンを走ってきた - wyukawa’s blogネットタイムが4時間21分43秒でした。runtasticで取った5km毎のラップタイムがこちら20km以降失速してます。夏は暑いのであまり練習してないのとこの時期はまだ暑いのでタイ…
Java Casual Talks #1とHadoopエンタープライズソリューションセミナー 2015 AutumnでHeapStatsの開発者の方からHeapStatsをプッシュされたのでNorikraにぶっ込んでみました。http://icedtea.classpath.org/wiki/HeapStats/jp HeapStatsは何かというと事後解…
結果はネットタイムが1時間52分11秒でした。 暑かったし、イギリス旅行行ってたこともあって練習不足なんでこんなもんでしょう。気温が30度超えてたらしい。まだ夏じゃん。runtasticで取ったラップはこんな感じ彩湖を眺めながらエイドではキュウリ、ミニトマ…
僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用してかれこれ2年経つのでその経験をもとにバッチ処理の実装方法を書いてみようかと思う。バッチ処理、ジョブ管理について書いてみる - wyukawa’s blogでは主にジョブ管理に…
9/18（金）はブロードウェイタワーへチェルトナムからバスでブロードウェイまで行ってそこから30分以上歩きました。 途中で羊の群れのなかを通りました。ちょっと曇ってたけど眺めはまあまあ。 9/19（土）はロンドンに戻り、スタンフォードブリッジでチェル…
去年に続いてシルバーウィーク周辺に夏休みをとってイギリスにきてます。 今回はロンドンとコッツウォルズに行きます。羽田空港からヒースロー空港へ。フライト時間はだいたい12時間かな。 金曜日に出発して金曜日につく。機内では「ビリギャル」、「しくじ…
約1年間Prestoを運用していて気づいたことを書いてみようと思う。Prestoが素晴らしいOSSプロダクトであることは間違いなくて、Hiveを使っている人はインストールして損は無いと思う。メリットは下記の通り Hiveに比べるとオンメモリで処理するので高速でアド…
Prestoはチーム外からのPull Requestも積極的に取り入れておりオープンで大変に好感が持てる訳ですが、なかでもコードレビューがとても丁寧です。 例えば僕が最近だしたPull Requestだとこんな感じです。Add url_encode/url_decode function by wyukawa · Pu…
https://github.com/wyukawa/aydaydはAzkaban YAML DSLの略です。たいした事は全然やってなくて要するにYAMLからプロパティファイルを作っているだけです。例えば、のようなAzkabanのflowがあるとして、本来なら以下のようなファイルを用意する必要がありま…
以前2種類のログ解析基盤 - wyukawa’s blogで書いたログ解析基盤のうち2つ目のプランナーよりのシステムが現在どうなっているかを書いてみたいと思います。 ちなみに1つ目のエンジニアよりのシステムの方も更新はあって、Fluentd+Norikra+Elasticsearch+Kiba…
タイムはグロスが1時間49分15秒、ネットが1時間48分13秒でした。runtasticで取ったラップタイムはこちらこの大会は有名でたかぎなおこさんのまんぷくローカルマラソン旅にも出てきます。給水所、エイドステーションがたくさん、後半は少なくとも2kmおきには…
1年前の振り返り記事はこちら ランニングを始めて1年経ったので振り返ってみる - wyukawa's diary1年前のこの時期は右ひざの腸脛靱帯炎に悩んでいたけどリハビリを3ヶ月ほど続けたら治って今では全く問題ないです。今でもたまにリハビリやって筋肉が固まらな…
僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用した経験が2年ほどあるので今日はバッチ処理、ジョブ管理について書いてみようと思います。僕の経験上Hadoop特有の部分、例えばテスト環境が作りづらいとかバッチサーバー…
去年に続いて走ってきました。記録はネットタイムが1時間48分44秒でした。runtasticで取ったラップがこちら。暑さにやられて後半失速してます。走り終わった後はごはんがもらえるので、それに縄文焼きとビールを追加して食してました。去年のこの大会の後に…
4日間のNetezza研修に行ってきたのでNetezzaのアーキテクチャについて書いてみる。Netezzaの全体像はこんな感じです。SMP hostというのがクエリを受け付けてparseして最適化してプランを作ります。SMP hostのDiskはDRBDで二重化されています。プランはSnippe…
タイムはグロスが3時間49分12秒でネットが3時間48分でした。 自己ベストです。runtasticで取ったラップタイムはこちら スタート前に雨が降ってきてテンション上がらない感じでしたが、すぐに晴れました。コースはhttp://www.toyako-marathon.jp/coursemapに…
日本最南端、波照間島に一人旅した時の写真うｐしていく - アレスケープ２ｃｈを見てから石垣島とその周辺の離島に行きたいなーってずっと思ってはや3年経ったんですがやっと行ってきました。5/4(月)から5泊6日の日程です。羽田空港から石垣空港まで行きも帰…
僕は様々なOSSプロダクトを使ってシステムを構築しているけれど、自分なりにぼんやりと考えているOSSプロダクトとのつきあい方について書いてみる。どのようなシステムを作るにせよ、それが一定以上の規模になるのであればOSSプロダクトを使わずに全部自前で…
僕は仕事では2種類のログ解析基盤を見ています。1つ目はどちらかというとエンジニアよりの解析基盤でサービス側のエンジニアがShib, ShibUIを通して好きにクエリを投げることができます。ただしtableをcreateしたりdropしたりinsertしたりはできません。sele…
Prestoのコードを読んでいるとairliftなるパッケージにお目にかかることがあります。GitHubのorganizationにairliftというものがあってこれの配下にいろいろなプロジェクトがあって、ここにairliftのソースがあります。https://github.com/airlift 例えば ht…
https://github.com/wyukawa/yanagishimaインストール方法と使い方はREADMEを見てください。 目指したのはMySQL WorkbenchのPresto版です。 テーブルやパーティションをマウスで指定して右クリックしてselect実行が出来ます。名前は茅ヶ崎にある柳島からとり…
記録はグロスが3時間58分47秒でネットタイムが3時間56分19秒でした。runtasticで取ったタイムはこちら晴れると思ったら途中で雨が降ったりしましたが、ゴールする頃には晴れてました。最近の練習は平日どれか1日の朝に10km走ることと週末のどっちかに20km走…
1月のPresto Meetupでログ解析基盤について少し話してから3ヶ月弱経ったんだけどその時から若干変わったのでメモっておく。以前はこんな感じでした。 Presto in my_use_case from wyukawa Prestoは今は0.100を使っていて特に問題は発生してないです。 Cognos…
