Garminを見ると記録は4時間15分だった。花粉が多かったのと、スタート前は暑かったけど、途中で雨、風が強くなり、後半は晴れて暑かった。めっちゃきつかった。そろそろサブ４出せるかなと思ったけど全然だった。記録面は完全に停滞期です。

アクセスログをfluent-plugin-prometheusで集計してgrafanaで表示するというのを試したのでメモがてら書いておきます。現状fluent-agent-liteでアクセスログを収集してサンプリングや集計をして最終的にGrowthforecastで表示する仕組みが社内にあります。イ…

Hadoopソースコードリーディング 第20回 Tickets, Thu, Mar 24, 2016 at 7:00 PM | Eventbrite関係者の皆様おつかれさまでした。ありがとうございました。スライドはこちら Upgrading from-hdp-21-to-hdp-24 from wyukawa HDP2.1からHDP2.3.4へblue green de…

2種類のログ解析基盤 - wyukawa’s blogで書いた1つ目のエンジニアよりの解析基盤をHDP2.1からHDP2.4にupgradeしました。upgradeがちゃんと終わったのは昨日なのでまだ何かあるかもしれませんが、メモがてら書いておきます。upgradeのやり方はblue green depl…

10回目のマラソンは静岡へ。掛川、大井川は走ったことあるけど静岡マラソンは初です。結果はネットタイム4時間4分37秒でした。後半きつかった。心配された天候も小雨が一瞬ぱらついたくらいでした。良かった。エイドの安倍川もち、石垣いちご、静岡おでん、…

hadoop用のexporterを作ってみた。 - wyukawa’s blogに続いてjstat_exporterを作りました。https://github.com/wyukawa/jstat_exporterこれはモニタリング対象のjavaプロセスに対してjstatコマンドを実行します。今まではjstat2gfを使ってGrowthforecastにな…

https://github.com/wyukawa/hadoop_exporterといってもNameNodeとResourceManagerの代表的なメトリクスだけです。取得するメトリクスは https://github.com/ryukobayashi/hadoop-metrics2 を参考にしました。実装自体は https://github.com/neezgee/apache_…

Hadoop環境だとOSのカーネルパラメータをいじることは一般的です。僕の環境だとだいたいのパラーメータはすでに設定済みでマシンがくるわけなんですが、 netstat -anp | grep TIME_WAIT | wc -lしたらTIME_WAIT数がやたら多くて気になってました。ちなみflue…

現状のモニタリング、監視の仕組みにあまり満足していない部分があって、別のツールないかなあと思ってたらふとしたきっかけでPrometheusを知りました。これちょっと面白そうなんで書いときます。https://prometheus.io日本語の記事だと【入門】Prometheusで…

Ambariを使ってHadoopをインストールできるので楽。あとNameNodeとResource ManagerのHA化をAmbariからぽちぽちできるのはほんと楽です。一方で怪しい点やこうなってほしいなという点もちらほらあったので書いておきます。 ケチつけているように見えるかもし…

結果はネットタイムが4時間8分17秒でした。後半落ち込んでますね。 まあ練習量を考えるとこんなもんかなあという気がします。 今シーズンはまだ一度もサブ4達成してないのでそろそろ達成したいところです。前日に松山入りして、受付した後は、八幡浜ちゃんぽ…

HDP2.1の頃のTezはまだ使わないほうが良いよと言われたけどHDP2.3になってdefaultになっていたので試してみた。 Tezのバージョンは0.7系です。クエリはこんな感じ FROM src INSERT OVERWRITE TABLE hoge PARTITION ... SELECT ... WHERE ... INSERT OVERWRIT…