6月ごろからHadoopのworker系nodeつまりdatanode, nodemanager, presto workerが動いているnodeでkernel panicが多発するようになって困っていてまだ解決はしていないのですが、メモっておきます。ログ分析基盤として使っているHadoopクラスタで深夜帯にバッ…

dentry cacheの解放 - wyukawa’s blogに関連した話です。CloudForecastでのメモリモニタリングだと、Slabがどれぐらい占めているかとか分からないので、その辺も含めてモニタリングするようにしてみました。pythonライブラリprocfsを使って/proc/meminfoを解…

メモリ使用量がずっと増え続けているマシンがあったんだけどtop+shift+mしても別に特定のプロセスがメモリを食いつぶしているわけではないので原因が分からなくて困ってましたambari-serverとprestogresが動いているマシンで同じ傾向だったことから状況証拠…

ふつうのLinuxプログラミング Linuxの仕組みから学べるgccプログラミングの王道作者: 青木峰郎出版社/メーカー: ソフトバンククリエイティブ発売日: 2005/07/27メディア: 単行本購入: 35人 クリック: 450回この商品を含むブログ (150件) を見る目次はこちら …

最近知ったgrepコマンドの-Aオプションと-Bオプションと、時々、-Cオプションについてメモっておく。例えば設定ファイルを見てHDFSのブロックサイズを知りたいとします。hdfs-site.xmlをdfs.block.sizeでgrepすると下記のようになります。 $ grep dfs.block.…

考えてみるとここ1年はJavaのコードはほとんど書いていなくてそれよりはシェルスクリプトを書いている機会の方が多かった。なのでここら辺でシェルスクリプトを書いていてハマったところというかちょっとしたTipsをメモっておこうと思う。前提としてBashであ…

WEB系エンジニア？はLinuxのカーネルパラメータをチューニングして性能を上げたりしているようですが、その辺に興味があったのでメモっときます。正しいかどうかの確証は全くありません。あしからず。ちなみに僕自身はこの手のパフォーマンスチューニングは…

Hadoop仕事するようになってからLinux触る機会が増えた気がしていて、オレもちょっとしたLinuxエンジニアになってきたかなあと思い始めた今日この頃です。普段仕事で使っているマシンは現場は変わっても入社以来ずっとWindows XPだし、Eclipse立ち上げてJava…

昨日、今日と研修に行ってきました。内容はLinuxのシステムプログラミングで、ファイルシステム、プロセス、シグナルを少しという感じでした。スレッドはなし。リダイレクトは標準入力（出力）をcloseした後、作ったファイルディスクリプタをdupするのね。ネ…

鼻水が止まらない。熱は無いけど、喉も痰が絡まっているような感じだし。 せっかくの夏休みだけど安静にしている。 基本的に健康人間なんだけど、たまに体調くずすときは割と休みのときが多い気がする。なんて仕事人間なオレ（嘘）。そういや寝坊は数え切れ…