最近Elasticsearch 5.2.2を使っているときにOutOfMemoryが発生したことがあって、そのときにログを見ると下記のようにCircuitBreakerも発動してた。 Caused by: org.elasticsearch.common.breaker.CircuitBreakingException: [request] Data too large, data…

題記の通りです。fluent-plugin-elasticsearch 1.9.3からElasticsearch 5.3に書き込んでから下記のようなエラーがたまに出てるのに気付きました。 Could not push log to Elasticsearch: {...{"index"=>{"_index"=>"hoge-2017.03.31", "_type"=>"fluentd", "…

さが桜マラソン2019【公式】3/15-3/17に台北に行って、翌日の3/18に佐賀に行って翌日の19日にマラソン走ってきました。結果はネットタイムが4時間17分7秒。最近腰が痛くてあんまり練習できなかったことと、マラソン当日が暑くて最高気温で20度まで行ってたこ…

正確にいうと台北に出張で行ってきました。3/15に行って3/17に帰ってきました。使った空港は羽田空港と松山空港です。もちろん愛媛県の松山空港じゃないです。ソンシャンと読むらしい。台北の街中にあるので移動に便利です。移動は主にタクシーを使って、結…

Workflow Engines Meetup #1 - connpass 関係者の皆様おつかれさまでした。ありがとうございました。スライドはこちら Azkaban from wyukawa Azkabanの紹介とうちのログ解析基盤でのユースケースを話しました。Azkabanの開発がもっと活発になってほしいなあ…

Hadoopソースコードリーディング 第22回 Tickets, Fri, Mar 3, 2017 at 6:45 PM | Eventbrite 関係者の皆様おつかれさまでした。ありがとうございました。スライドはこちら Upgrading from-hdp-21-to-hdp-25 from wyukawa Hadoopアップグレードの話をしまし…

会社で英語の補助が出ると聞いて英語の勉強を始めてから2年経ったので振り返っておく。2015/3から始めたのでちょうど2年です。どれぐらい上達したかを言うのに、以前は英語を聞くと冷や汗がでたけど今はなんとか大丈夫みたいな定性的な評価だとよくわからん…

Javaの検査例外の仕組みは理解はできるけど、結果的にはあまりうまくいかなかったかなというのが個人的な見解です。理由は例外をcatchさせても無視されることが多いから。下記の本にもそれに近い見解が述べられていた気がするけど忘れた。Java: The Good Par…

結果はグロスタイムが4時間1分40秒で、ネットタイムが3時間58分6秒。もっと余裕でサブ4いけるかと思ったけどそんなことはなかった。。。大会自体はすごく良かったです。荷物受け渡しに遅延もなく、帰りのシャトルバスもそんなに待たずにスムーズに乗れました…

題記の通りです。例えばElasticsearchなら2.4 -> 5.0.1 -> 5.2とバージョンアップした。 Elasticsearch 2.4から5.0.1にアップグレードしていろいろはまった - wyukawa’s blog Elasticsearch, Kibanaを5.0.1から5.2にアップグレードした - wyukawa’s blogHado…

題記の通りです。リリースブログはこちら Elasticsearch 5.2.0 released | Elastic Kibana 5.2.0 released | Elastic Elasticsearchは下記手順でアップグレードした。 Rolling upgrades | Elasticsearch Reference [5.2] | Elasticアップグレード前にElastic…

wyukawa's tumblr, descicoさんとHadoopについて話しました Guest descico Show...でも少し話したけど、日本語で読めるHadoop本が古くなっていて今だとちょっと勉強しづらい状況です。なので、僕だったら、下記のような目次の「はじめてのHadoop」を読みたい…

モニタリングツール系ってagent入れればロードアベレージ、ディスク使用量、メモリ使用量、Disk IO、ネットワークトラフィックなどはどれも取れると思います。ただしそれらのメトリクスだけではトラブルシューティングに不十分な場合があります。 なおここで…

タイトルの通りです。今まではazkaban-solo-server-3.1.0を使っていてHadoopのバージョアップのタイミングでazkaban-solo-server-3.15.0-1-g77411d7にして運用していたら下記のようなエラーメッセージがでて http://localhost:8081/history にアクセスしても…

約1年前に別のHadoopクラスタをHDP2.1からHDP2.4にアップグレードした話はHadoopソースコードリーディング 第20回で発表しました。Hadoopソースコードリーディング 第20回で発表してきました - wyukawa’s blogこのクラスタはデータソースがFluentdからのほぼ…

来月のフルマラソンに備えて2年ぶりに東京30Kで走ってきました。最初だけ4時間のペースメーカーの後について走ってましたが、混雑してたので前にでて5分10秒から20秒あたりのペースで走ってました。結果はネットタイムで2時間41分34秒で東京30Kで走ってきま…

wyukawa's podcastの現在 - wyukawa’s blog の続き現在配信したエピソードは20個あって下記から聞けます。 https://itunes.apple.com/jp/podcast/wyukawas-podcast/id1152456701音が小さいというフィードバックが結構あって、原因を調べてたらどうもAudacity…

Oracle DBに対してsqoop importするときに下記のようにurandomを使うのは割と一般的な話かなと思います。 sqoop import -D mapreduce.map.java.opts="-Djava.security.egd=file:/dev/../dev/urandom" ...sqoopのマニュアルにも書いてありますね。 https://sq…

記録はネットタイムが1時間49分33秒。去年が1時間44分17秒、一昨年が1時間42分7秒（なおこれがハーフのベストです）だったのでそれに比べるとだいぶ遅い。衰えは隠せないですが、走っている時はエイドのキュウリ、ミニトマト、パイナップル、オレンジを少々…

今日が仕事納めでした。今年も去年に引き続いてデータエンジニアリング業していたんですが、違いとしては今年に入ってからモニタリングにPrometheusを試すようになり、その延長でPromCon 2016に登壇しました。海外のカンファレンスで喋るのは初めての経験で…

題名の通りで動作環境は以下の通りです。 Elasticsearch側はcerebroで見る限りgreenで正常に見えました。 fluentd 0.12.27 fluent-plugin-elasticsearch 1.9.0 Elasticsearch 5.0.1 fluentdの設定はこんな感じ <match ...> type forest subtype elasticsearch <template> hosts ..</template></match>…

第32回青島太平洋マラソン2018去年参加して応援の素晴らしさに感動したので今年も行ってきました。 青島太平洋マラソン走ってきた - wyukawa’s blogホテルや飛行機は去年と同じく大会のサイトで案内されている宿泊プランでまかないました。 ホテルで選手受付…

うちの環境ではkafkaに入ってるログをkafka-fluentd-consumer 0.3.0でconsumeしたのちにfluent-plugin-elasticsearch 1.9.0経由でElasticsearchになげるということをしています。fluent-plugin-elasticsearchは8プロセス動いていて各プロセスがメモリを5〜8G…

手元でカジュアルに運用しているElasticsearch 2.4(2.4.1だったかも)をえいやと5.0.1に上書きアップグレードしていろいろはまったのでメモっておく。その前にElasticsearch 5がどんな感じなのかはwyukawa's tumblr, johtaniさんとElasticsearchについて話し…

早いものでpodcastを始めて2ヶ月ほど経ちました。配信したエピソードは12個あって、必要な情報は下記からたどれると思います。SoundCloundの統計を見る限り1エピソードあたりだいたい200〜300ほど再生されているようです。せっかくゲストに出てもらっている…

Prometheus Casual Talks #2 - connpassPrometheus Casual Talks #2 まとめ - TogetterPrometheus開発者のBrian Brazilさんが来日するのでそれにあわせてPrometheus Casual Talks第二回を開催しました。第一回の様子はPrometheus Casual Talks #1を開催しま…

結果はネットタイムが4時間32分でした。4時間30分は切りたかったけど練習不足なのでしゃーない。富山マラソンは今年で2回目で僕は初参加です。いつもこの時期はしまだ大井川マラソンに出てるんですけど、今年は富山マラソンに出てみました。運営もよくストレ…

http://hadoopsummit.org/tokyoチケット代が約4万円で高いと噂になったHadoop Summit Tokyo 2016に行ってきました。ただ海外ではこのぐらいの値段は普通らしく、むしろ日本が異常に安すぎるという。 そのしわ寄せがイベント運営者にいってしまっているのが現…

http://wyukawa.tumblr.com/ です。Twitterでシェアしたりブックマークする場合はwebページがあった方がいいという声があったのでtumblrで作りました。もしよかったら見てみてください。

Podcastを始めて1ヶ月ほど経ちました。現在は8エピソードを配信しています。 感想等があれば #wyukawafm でつぶやいていただけると嬉しいです。https://itunes.apple.com/jp/podcast/wyukawas-podcast/id1152456701最近はゲストのbookingが重なったので更新…