最近Azkaban 3.30.0にupgradeして問題なく動いていることもあり、題記について書いてみようと思います。Azkabanはジョブ管理ツールとして基本的な機能は備えており、比較的簡単に使うことができます。 ただし以下の点で他の競合ツールと比べると見劣りするか…

うちの環境ではKafka -> kafka-fluentd-consumer -> Fluentd -> Elatsticsearchという経路でログをElatsticsearchに送ってKibanaで可視化しています。ところがKibanaで直近のログが見れないという問い合わせがあり調査していたら、kafka-fluentd-consumerのC…

Presto Meetup 201706｜IT勉強会ならTECH PLAY［テックプレイ］ でもprestoクエリをファイルにロギングする話があって、そろそろうちもやってみるかーということで実装しました。https://github.com/wyukawa/presto-fluentd参考にしたのは https://github.co…

約2年前にyanagishimaを開発し始めた時、Javaで実装することに迷いは無かった。 理由は単純に僕が一番馴染んでいる言語だから。Javaで実装している一方でJDBCを使わなかったのには２つの理由がある。一つ目は性能面を考慮したから。やりたいこととしてはデー…

td-agentのprofiling - wyukawa’s blog に書いたようにfluent-plugin-uri_decoderが重いということまではわかりました。じゃあどうすっかという話なのですが、内部で議論がありRuby 2.4 + CGI.unescape + fluentd filterでいけばいいんじゃね？ということに…

4年連続4回目の参加です。結果はネットタイムが1時間54分10秒でした。過去3年はずっと暑くて特に去年はすごい暑かった記憶があるんだけど、今年は涼しかったです。 スタート時間が30分早まったのも影響してると思う。それ以外に変わったのはゴール直前の八海…

末端ノードでnginxのlogをtailしてparseしてごにょごにょしているtd-agent 2.3.1のCPU使用率が50%ぐらいになっていたので、下記を使ってprofilingしてみた。https://github.com/sonots/fluent-stackprofなおtd-agentのモニタリングには https://github.com/m…

タイトルの通りですが、まずAPI経由でJIRAにissue登録する方法は下記を見ればわかると思います。 https://developer.atlassian.com/jiradev/jira-apis/jira-rest-apis/jira-rest-api-tutorials/jira-rest-api-example-create-issue https://docs.atlassian.c…