HDP2.1環境でMySQLに対してsqoop importしたら以下のようなOutOfMemoryErrorが出た。 2014-07-29 15:58:15,994 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: GC overhead limit exceeded at com.my…

ちょっと時間経ちましたがPresto ソースコードリーディング #4に行ってきたんでその辺のことをちらほら書きます。コードはぱらっと見ておいたんだけど、ちゃんと理解しているわけではなかったこともあり議論には全くついていけなかったことをここに告白しま…

Hadoop Conference Japan 2014 Tickets, Tue, Jul 8, 2014 at 10:00 AM | Eventbrite第５回になるそうです。僕は3回目から参加していますが、毎度のことながらランチが出るし至れり尽くせりのカンファレンスですね。スタッフの皆様ありがとうございます。m( …

右膝の腸脛靭帯炎に加えて右足親指の爪のところをフットサルの接触プレーで内出血して参加するかどうか一瞬迷ったんだけど、少し走ってみて少なくとも爪の内出血は全然問題なかったので参加してきました。膝の方は不安があったのでザムストつけて走ったんで…

Ambari経由でHDPをインストールしてその際にNagiosも入れた場合は注意点があります。ここで入れたNagiosはNameNodeやResourceManagerやJobHistoryのようなマスター系のコンポーネントのCPUのチェックにSNMPを使います。そのため/etc/snmp/snmpd.confをいじっ…

HiveServer2で 「java.lang.OutOfMemoryError: unable to create new native thread」といわれた - wyukawa’s blogで書いた件だけど、GangliaのTotal Processesを見ると下記のように順調に増えていたのでやはりメモリーリークなのかなと思っています。スレッ…