ログ解析基盤を運用しているとユーザから予期せぬクエリやデータが来てシステムが不安定になることがあります。そういうケースに遭遇してどうハンドリングしてきたかをメモっておきます。 1回のprestoクエリの結果が100GBを超えるそんなクエリを連発されたら…

yanagishima v2をリリースしました。 - wyukawa’s blog ３週間前にv2をリリースしたyanagishimaですが、v3もリリースしました。 https://github.com/wyukawa/yanagishima 結構変わっていて作っている方もあんまり覚えていないんですがw 重要なポイントをいう…

去年は長野マラソンに行ってパスしたので2年ぶり3回目の参加です。結果はグロスタイムが4時間33分21秒、ネットタイムが4時間31分17秒でした。衰えは隠せ無い。。。2年前はサブ4で走ったんだけど、よく走れたな。この大会はアップダウンが結構きついです。特…

約2年前から開発していたyanagishimaですが、UIがダサい感じだったので同僚の助けを借りてv2としてリニューアルしました。https://github.com/wyukawa/yanagishima複数prestoに対応したり、やばめなクエリは自動でkillするようにしたりと、こちらの現場で必…

最近Elasticsearch 5.2.2を使っているときにOutOfMemoryが発生したことがあって、そのときにログを見ると下記のようにCircuitBreakerも発動してた。 Caused by: org.elasticsearch.common.breaker.CircuitBreakingException: [request] Data too large, data…

題記の通りです。fluent-plugin-elasticsearch 1.9.3からElasticsearch 5.3に書き込んでから下記のようなエラーがたまに出てるのに気付きました。 Could not push log to Elasticsearch: {...{"index"=>{"_index"=>"hoge-2017.03.31", "_type"=>"fluentd", "…