Hadoop 0.23が近づいてきた

元ネタはHortonworksのこちらのブログ記事
http://www.hortonworks.com/preparing-for-next-release-of-apache-hadoop/

0.23用のリリースブランチも作成されましたね。

http://svn.apache.org/viewvc/hadoop/common/branches/branch-0.23/

スライドはこちら

Hadoop 0.23の目玉はHDFS FederationとNextGen MapReduceだろう。

既存のHDFSは1つのNameNodeがマスターとして動き、複数のDataNodeがスレーブとして動くアーキテクチャだった。HDFS Federationはそれを刷新し複数のNameNodeが独立して動くようだ

詳細はこちら
An Introduction to HDFS Federation - Hortonworks

スライドはこちら

NextGen MapReduceについては以下で少し触れた。
次世代MapReduceがtrunkにマージされた - wyukawa’s blog

HDFS FederationもNextGen MapReduceもHortonworksが主導しているようだ。

なおClouderaも以下のスライドを公開している。0.23にもキャッチアップしそうですね。

ただ現状の最新版は0.21であり、0.22すらまだ出ていない状況。どうなるんですかねw

そしてYahooやFacebookのような数千台の大規模クラスタを運用していない大半の現場では0.20がまだまだ使われるような気がします。

Hiveは0.20でしか動かなかった気がするし。

ともあれ、活気があっていいですな。