2016-11-28から1日間の記事一覧

kafka-fluentd-consumerとfluencyとfluent-plugin-elasticsearchのメモリに関する話

うちの環境ではkafkaに入ってるログをkafka-fluentd-consumer 0.3.0でconsumeしたのちにfluent-plugin-elasticsearch 1.9.0経由でElasticsearchになげるということをしています。fluent-plugin-elasticsearchは8プロセス動いていて各プロセスがメモリを5〜8G…