2019-03-08から1日間の記事一覧
spark thrift serverが不安定でOutOfMemoryになったりしてたんでJVMオプションをいじってた。 うちの環境だとambari管理なのでjava heapを増やす場合はAdvanced spark2-envのspark_daemon_memoryを増やせばOKです。ちなみにデフォルトは1GBです。 それ以外は…
spark thrift serverが不安定でOutOfMemoryになったりしてたんでJVMオプションをいじってた。 うちの環境だとambari管理なのでjava heapを増やす場合はAdvanced spark2-envのspark_daemon_memoryを増やせばOKです。ちなみにデフォルトは1GBです。 それ以外は…