2013-07-22から1日間の記事一覧

ShuffleがうまくいかなくてReduceが遅くなる現象

たまに起こる現象でちょっと困っているのがMapReduceのジョブを実行していてShuffleがうまくいかなくてReduceが遅くなる現象というのがある。遅くなっているMapReduceのジョブのログをみるとこんな感じになっていてTaskTrackerからのcopyに失敗しているよう…