https://github.com/wyukawa/hadoop_exporterといってもNameNodeとResourceManagerの代表的なメトリクスだけです。取得するメトリクスは https://github.com/ryukobayashi/hadoop-metrics2 を参考にしました。実装自体は https://github.com/neezgee/apache_…

Hadoop環境だとOSのカーネルパラメータをいじることは一般的です。僕の環境だとだいたいのパラーメータはすでに設定済みでマシンがくるわけなんですが、 netstat -anp | grep TIME_WAIT | wc -lしたらTIME_WAIT数がやたら多くて気になってました。ちなみflue…

現状のモニタリング、監視の仕組みにあまり満足していない部分があって、別のツールないかなあと思ってたらふとしたきっかけでPrometheusを知りました。これちょっと面白そうなんで書いときます。https://prometheus.io日本語の記事だと【入門】Prometheusで…

Ambariを使ってHadoopをインストールできるので楽。あとNameNodeとResource ManagerのHA化をAmbariからぽちぽちできるのはほんと楽です。一方で怪しい点やこうなってほしいなという点もちらほらあったので書いておきます。 ケチつけているように見えるかもし…

結果はネットタイムが4時間8分17秒でした。後半落ち込んでますね。 まあ練習量を考えるとこんなもんかなあという気がします。 今シーズンはまだ一度もサブ4達成してないのでそろそろ達成したいところです。前日に松山入りして、受付した後は、八幡浜ちゃんぽ…