http://www.abashiri-marathon.jp/記録はネットタイムが4時間39分16秒で自己ワーストなんだけど、練習不足と暑かったのでこれはしょうがない。それはそれとして素晴らしい大会でした。僕が参加したマラソン大会のなかでもっとも景色がいい大会でした。あとエ…
Podcastを雑に始めた - wyukawa’s blogで書いたように雑にPodcastを始めました。https://itunes.apple.com/jp/podcast/wyukawas-podcast/id1152456701 から購読することができます。現在3エピソードを配信しています。最初の1話目はひとりでしゃべって雑音カ…
Prometheusのストレージ周りに関してちょっと調べたのでメモっておく。間違っているところや補足すべきものがあれば教えてもらえると嬉しいです。公式ドキュメントはこちら https://prometheus.io/docs/operating/storage他に参考になりそうな資料としてはこ…
今まではElasticSearch Headでシャードやノードの状態見てたんだけど、最近はGitHub - lmenezes/elasticsearch-kopf: web admin interface for elasticsearchを使い始めた。こっちのほうが良いね。index templateも見れるし。Marvelは最初は良いと思ったけど…
fluentdからfluent-plugin-elasticsearchを使ってElasticsearchに書き込む部分でたびたびfluentdが詰まって苦労してたけど最近は落ち着いてきたのでその辺を備忘録としてメモっています。最初はfluentdからElasticsearchに1プロセスで直接書き込んでいたけど…
https://rebuild.fm/ はサポーターなぐらいファンだし、自分でもPodcastやりたいなとずっと思いつつなかなかできなかったけど、まずは最初の一歩ということで10分ほどひとりでPrometheus周りをしゃべってみた。 ep1 Prometheusについてちょっとだけ by wyuka…
Prometheus London MeetupおよびPromCon 2016に行ったので空いた時間で観光してきました。8/17に羽田空港からヒースロー空港までフライト時間は約12時間初日の晩御飯は去年行った http://www.copita.co.uk/ ホテルの最寄駅は地下鉄のRussell SquareかHolborn…
Prometheus初のカンファレンスがベルリンで2日間開催されそこに行って発表してきました。 https://promcon.io/僕の発表スライドはこちら Promcon2016 from wyukawa 質疑応答はグダリましたがなんとかやりとげました。会社の人にはスライドをチェックしてもら…
Prometheus Core Developer Björn Rabenstein Open Q&A | Meetup最初にビザとビールで腹と喉を潤した後に僕がトップバッターでLTしました。僕のLTスライドはこちら Prometheus london from wyukawa 英語につっかえながらもなんとか5分間のLTをやりとげました…
Prometehus, Grafanaでモニタリングできるのはもうわかったので監視をどうするかというとAlertmanagerを使うことになります。Prometehus本体に比べればAlertmanagerはまだ成熟してないと思うけど、使う価値は十分にあると個人的にあると思ってます。その理由…
Presto Meetup｜IT勉強会ならTECH PLAY［テックプレイ］で発表してきました。主催のrepeatedlyさん、および発表者、スタッフ、参加者のみなさまお疲れ様でした。ありがとうございました。参加者が30人ほどと小規模で、かつ発表後すぐには質問もなかったので…
Prometheus Casual Talks #1 - connpass発表者、参加者の皆様おつかれさまでした。ありがとうございました。Prometheusは日本ではあんまり使われていないと思うのでそんなに人集まらないと思ってたんですが、connpassに公開したその日にすぐ定員はうまるぐら…
一昨年、去年に引き続いて3年連続で行ってきました。 南魚沼グルメマラソンで走ってきた - wyukawa’s blog 南魚沼グルメマラソンにいってきた - wyukawa’s blog結果はネットタイムが2時間1分6秒でした。去年に比べるとだいぶ遅い。。。練習不足だな。3年連続…
僕は今見ている社内のログ分析基盤に数多くのOSSプロダクトを使っています。具体的に言うと、Fluentdでログ収集してHadoopに書き込んでAzkaban経由でHiveバッチを動かしてデータを加工してPresto, Prestogres経由でみたりしています。また最近はKafkaやElast…
fluentdはRubyで実装されていることもあり複数CPUを使えないので、トラフィックが増えてきた場合などはポートを分けて複数プロセスで起動することが一般的です。なのでマシンごとのCPU使用率を見てもfluentdの状況がどうなのか判断することは難しいです。ち…
去年は3時間48分のベストを出した相性の良い大会で、今回のタイムはぎりぎりサブ4でした。天気も良く、しそジュースうまかったです。給食はゆで卵食いました。味は普通でした。去年と比べると受付がなくなったのと、宿はスタート地点から近かったので荷物を…
題記のようなことを考えていて、レポーティング、モニタリング、監視で使うストレージは全部統一されているほうが当然運用が楽だと思うのですが、現状だと統一できなくて用途ごとに分けてHadoop, Prometheus, Elasticsearchに格納するというのが僕の今のとこ…
Hadoopソースコードリーディング 第20回で発表してきました - wyukawa’s blogで話が出ていたAmbari MeetupがYahoo! JAPANさんのご尽力で実現しました。しかも美味しい食事とビール付きでした。なんて素晴らしいイベントなんでしょう。関係者のみなさまありが…
Garminを見ると記録は4時間15分だった。花粉が多かったのと、スタート前は暑かったけど、途中で雨、風が強くなり、後半は晴れて暑かった。めっちゃきつかった。そろそろサブ４出せるかなと思ったけど全然だった。記録面は完全に停滞期です。
アクセスログをfluent-plugin-prometheusで集計してgrafanaで表示するというのを試したのでメモがてら書いておきます。現状fluent-agent-liteでアクセスログを収集してサンプリングや集計をして最終的にGrowthforecastで表示する仕組みが社内にあります。イ…
Hadoopソースコードリーディング 第20回 Tickets, Thu, Mar 24, 2016 at 7:00 PM | Eventbrite関係者の皆様おつかれさまでした。ありがとうございました。スライドはこちら Upgrading from-hdp-21-to-hdp-24 from wyukawa HDP2.1からHDP2.3.4へblue green de…
2種類のログ解析基盤 - wyukawa’s blogで書いた1つ目のエンジニアよりの解析基盤をHDP2.1からHDP2.4にupgradeしました。upgradeがちゃんと終わったのは昨日なのでまだ何かあるかもしれませんが、メモがてら書いておきます。upgradeのやり方はblue green depl…
10回目のマラソンは静岡へ。掛川、大井川は走ったことあるけど静岡マラソンは初です。結果はネットタイム4時間4分37秒でした。後半きつかった。心配された天候も小雨が一瞬ぱらついたくらいでした。良かった。エイドの安倍川もち、石垣いちご、静岡おでん、…
hadoop用のexporterを作ってみた。 - wyukawa’s blogに続いてjstat_exporterを作りました。https://github.com/wyukawa/jstat_exporterこれはモニタリング対象のjavaプロセスに対してjstatコマンドを実行します。今まではjstat2gfを使ってGrowthforecastにな…
https://github.com/wyukawa/hadoop_exporterといってもNameNodeとResourceManagerの代表的なメトリクスだけです。取得するメトリクスは https://github.com/ryukobayashi/hadoop-metrics2 を参考にしました。実装自体は https://github.com/neezgee/apache_…
Hadoop環境だとOSのカーネルパラメータをいじることは一般的です。僕の環境だとだいたいのパラーメータはすでに設定済みでマシンがくるわけなんですが、 netstat -anp | grep TIME_WAIT | wc -lしたらTIME_WAIT数がやたら多くて気になってました。ちなみflue…
現状のモニタリング、監視の仕組みにあまり満足していない部分があって、別のツールないかなあと思ってたらふとしたきっかけでPrometheusを知りました。これちょっと面白そうなんで書いときます。https://prometheus.io日本語の記事だと【入門】Prometheusで…
Ambariを使ってHadoopをインストールできるので楽。あとNameNodeとResource ManagerのHA化をAmbariからぽちぽちできるのはほんと楽です。一方で怪しい点やこうなってほしいなという点もちらほらあったので書いておきます。 ケチつけているように見えるかもし…
結果はネットタイムが4時間8分17秒でした。後半落ち込んでますね。 まあ練習量を考えるとこんなもんかなあという気がします。 今シーズンはまだ一度もサブ4達成してないのでそろそろ達成したいところです。前日に松山入りして、受付した後は、八幡浜ちゃんぽ…
HDP2.1の頃のTezはまだ使わないほうが良いよと言われたけどHDP2.3になってdefaultになっていたので試してみた。 Tezのバージョンは0.7系です。クエリはこんな感じ FROM src INSERT OVERWRITE TABLE hoge PARTITION ... SELECT ... WHERE ... INSERT OVERWRIT…
