Hadoop é uma implementação livre da Apache Software Foundation que possibilita a utilização do modelo de processamento de dados MapReduce, criado pelo Google. Apesar de ter sido desenvolvido em Java, é possível utilizá-lo com Python. Até o momento, é conhecida apenas uma implementação: o Dumbo, criado pelo Klaas Bosteels, do Last.fm.

Links interessantes:

• Paper do MapReduce

• Hadoop

• Dumbo - biblioteca em Python para o Hadoop

• Vídeo do Klaas sobre o Dumbo

• Post no blog do Last.fm sobre o Dumbo

• GruPySPYahoo - Encontro realizado pelos usuários de Python do Estado de São Paulo, na sede do Yahoo!, onde houve uma palestra do Owen O'Malley, core developer do Hadoop.