2019-03-08から1日間の記事一覧

spark thrift server gc

spark thrift serverが不安定でOutOfMemoryになったりしてたんでJVMオプションをいじってた。 うちの環境だとambari管理なのでjava heapを増やす場合はAdvanced spark2-envのspark_daemon_memoryを増やせばOKです。ちなみにデフォルトは1GBです。 それ以外は…