記録はネットタイムが1時間49分33秒。去年が1時間44分17秒、一昨年が1時間42分7秒（なおこれがハーフのベストです）だったのでそれに比べるとだいぶ遅い。衰えは隠せないですが、走っている時はエイドのキュウリ、ミニトマト、パイナップル、オレンジを少々…

今日が仕事納めでした。今年も去年に引き続いてデータエンジニアリング業していたんですが、違いとしては今年に入ってからモニタリングにPrometheusを試すようになり、その延長でPromCon 2016に登壇しました。海外のカンファレンスで喋るのは初めての経験で…

題名の通りで動作環境は以下の通りです。 Elasticsearch側はcerebroで見る限りgreenで正常に見えました。 fluentd 0.12.27 fluent-plugin-elasticsearch 1.9.0 Elasticsearch 5.0.1 fluentdの設定はこんな感じ <match ...> type forest subtype elasticsearch <template> hosts ..</template></match>…

第32回青島太平洋マラソン2018去年参加して応援の素晴らしさに感動したので今年も行ってきました。 青島太平洋マラソン走ってきた - wyukawa’s blogホテルや飛行機は去年と同じく大会のサイトで案内されている宿泊プランでまかないました。 ホテルで選手受付…

うちの環境ではkafkaに入ってるログをkafka-fluentd-consumer 0.3.0でconsumeしたのちにfluent-plugin-elasticsearch 1.9.0経由でElasticsearchになげるということをしています。fluent-plugin-elasticsearchは8プロセス動いていて各プロセスがメモリを5〜8G…

手元でカジュアルに運用しているElasticsearch 2.4(2.4.1だったかも)をえいやと5.0.1に上書きアップグレードしていろいろはまったのでメモっておく。その前にElasticsearch 5がどんな感じなのかはwyukawa's tumblr, johtaniさんとElasticsearchについて話し…

早いものでpodcastを始めて2ヶ月ほど経ちました。配信したエピソードは12個あって、必要な情報は下記からたどれると思います。SoundCloundの統計を見る限り1エピソードあたりだいたい200〜300ほど再生されているようです。せっかくゲストに出てもらっている…

Prometheus Casual Talks #2 - connpassPrometheus Casual Talks #2 まとめ - TogetterPrometheus開発者のBrian Brazilさんが来日するのでそれにあわせてPrometheus Casual Talks第二回を開催しました。第一回の様子はPrometheus Casual Talks #1を開催しま…

結果はネットタイムが4時間32分でした。4時間30分は切りたかったけど練習不足なのでしゃーない。富山マラソンは今年で2回目で僕は初参加です。いつもこの時期はしまだ大井川マラソンに出てるんですけど、今年は富山マラソンに出てみました。運営もよくストレ…

http://hadoopsummit.org/tokyoチケット代が約4万円で高いと噂になったHadoop Summit Tokyo 2016に行ってきました。ただ海外ではこのぐらいの値段は普通らしく、むしろ日本が異常に安すぎるという。 そのしわ寄せがイベント運営者にいってしまっているのが現…

http://wyukawa.tumblr.com/ です。Twitterでシェアしたりブックマークする場合はwebページがあった方がいいという声があったのでtumblrで作りました。もしよかったら見てみてください。

Podcastを始めて1ヶ月ほど経ちました。現在は8エピソードを配信しています。 感想等があれば #wyukawafm でつぶやいていただけると嬉しいです。https://itunes.apple.com/jp/podcast/wyukawas-podcast/id1152456701最近はゲストのbookingが重なったので更新…

http://www.abashiri-marathon.jp/記録はネットタイムが4時間39分16秒で自己ワーストなんだけど、練習不足と暑かったのでこれはしょうがない。それはそれとして素晴らしい大会でした。僕が参加したマラソン大会のなかでもっとも景色がいい大会でした。あとエ…

Podcastを雑に始めた - wyukawa’s blogで書いたように雑にPodcastを始めました。https://itunes.apple.com/jp/podcast/wyukawas-podcast/id1152456701 から購読することができます。現在3エピソードを配信しています。最初の1話目はひとりでしゃべって雑音カ…

Prometheusのストレージ周りに関してちょっと調べたのでメモっておく。間違っているところや補足すべきものがあれば教えてもらえると嬉しいです。公式ドキュメントはこちら https://prometheus.io/docs/operating/storage他に参考になりそうな資料としてはこ…

今まではElasticSearch Headでシャードやノードの状態見てたんだけど、最近はGitHub - lmenezes/elasticsearch-kopf: web admin interface for elasticsearchを使い始めた。こっちのほうが良いね。index templateも見れるし。Marvelは最初は良いと思ったけど…

fluentdからfluent-plugin-elasticsearchを使ってElasticsearchに書き込む部分でたびたびfluentdが詰まって苦労してたけど最近は落ち着いてきたのでその辺を備忘録としてメモっています。最初はfluentdからElasticsearchに1プロセスで直接書き込んでいたけど…

https://rebuild.fm/ はサポーターなぐらいファンだし、自分でもPodcastやりたいなとずっと思いつつなかなかできなかったけど、まずは最初の一歩ということで10分ほどひとりでPrometheus周りをしゃべってみた。 ep1 Prometheusについてちょっとだけ by wyuka…

Prometheus London MeetupおよびPromCon 2016に行ったので空いた時間で観光してきました。8/17に羽田空港からヒースロー空港までフライト時間は約12時間初日の晩御飯は去年行った http://www.copita.co.uk/ ホテルの最寄駅は地下鉄のRussell SquareかHolborn…

Prometheus初のカンファレンスがベルリンで2日間開催されそこに行って発表してきました。 https://promcon.io/僕の発表スライドはこちら Promcon2016 from wyukawa 質疑応答はグダリましたがなんとかやりとげました。会社の人にはスライドをチェックしてもら…

Prometheus Core Developer Björn Rabenstein Open Q&A | Meetup最初にビザとビールで腹と喉を潤した後に僕がトップバッターでLTしました。僕のLTスライドはこちら Prometheus london from wyukawa 英語につっかえながらもなんとか5分間のLTをやりとげました…

Prometehus, Grafanaでモニタリングできるのはもうわかったので監視をどうするかというとAlertmanagerを使うことになります。Prometehus本体に比べればAlertmanagerはまだ成熟してないと思うけど、使う価値は十分にあると個人的にあると思ってます。その理由…

Presto Meetup｜IT勉強会ならTECH PLAY［テックプレイ］で発表してきました。主催のrepeatedlyさん、および発表者、スタッフ、参加者のみなさまお疲れ様でした。ありがとうございました。参加者が30人ほどと小規模で、かつ発表後すぐには質問もなかったので…

Prometheus Casual Talks #1 - connpass発表者、参加者の皆様おつかれさまでした。ありがとうございました。Prometheusは日本ではあんまり使われていないと思うのでそんなに人集まらないと思ってたんですが、connpassに公開したその日にすぐ定員はうまるぐら…

一昨年、去年に引き続いて3年連続で行ってきました。 南魚沼グルメマラソンで走ってきた - wyukawa’s blog 南魚沼グルメマラソンにいってきた - wyukawa’s blog結果はネットタイムが2時間1分6秒でした。去年に比べるとだいぶ遅い。。。練習不足だな。3年連続…

僕は今見ている社内のログ分析基盤に数多くのOSSプロダクトを使っています。具体的に言うと、Fluentdでログ収集してHadoopに書き込んでAzkaban経由でHiveバッチを動かしてデータを加工してPresto, Prestogres経由でみたりしています。また最近はKafkaやElast…

fluentdはRubyで実装されていることもあり複数CPUを使えないので、トラフィックが増えてきた場合などはポートを分けて複数プロセスで起動することが一般的です。なのでマシンごとのCPU使用率を見てもfluentdの状況がどうなのか判断することは難しいです。ち…

去年は3時間48分のベストを出した相性の良い大会で、今回のタイムはぎりぎりサブ4でした。天気も良く、しそジュースうまかったです。給食はゆで卵食いました。味は普通でした。去年と比べると受付がなくなったのと、宿はスタート地点から近かったので荷物を…

題記のようなことを考えていて、レポーティング、モニタリング、監視で使うストレージは全部統一されているほうが当然運用が楽だと思うのですが、現状だと統一できなくて用途ごとに分けてHadoop, Prometheus, Elasticsearchに格納するというのが僕の今のとこ…

Hadoopソースコードリーディング 第20回で発表してきました - wyukawa’s blogで話が出ていたAmbari MeetupがYahoo! JAPANさんのご尽力で実現しました。しかも美味しい食事とビール付きでした。なんて素晴らしいイベントなんでしょう。関係者のみなさまありが…