Apache Bigtop e Hadoop - dummies

Per aiutarti a iniziare con Hadoop, ecco le istruzioni su come scaricare e configurare velocemente Hadoop sul tuo computer portatile. Il tuo cluster verrà eseguito in modalità pseudo-distribuita su una macchina virtuale, quindi non avrai bisogno di hardware speciale.

Una macchina virtuale (VM) è un computer simulato che è possibile eseguire su un computer reale. Ad esempio, puoi eseguire un programma sul tuo laptop che "riproduce" una VM, che apre una finestra che sembra sia in esecuzione su un altro computer. In effetti, un finto computer è in esecuzione all'interno del tuo computer reale.

Dovrai scaricare una VM e durante l'esecuzione installerai Hadoop.

Apache Bigtop è un'ottima alternativa se vuoi assemblare i tuoi componenti Hadoop. Bigtop raccoglie i componenti principali di Hadoop per te e garantisce che la tua configurazione funzioni. Apache Bigtop è una distribuzione open source al 100%.

L'obiettivo principale di Bigtop - di per sé un progetto Apache, proprio come Hadoop - è quello di costruire una comunità attorno al packaging, all'implementazione e all'integrazione dei progetti nell'ecosistema di Apache Hadoop. L'attenzione si concentra sul sistema nel suo insieme piuttosto che sui singoli progetti.

Usando Bigtop, puoi facilmente installare e distribuire i componenti Hadoop senza doverli rintracciare in una distribuzione specifica e abbinarli a una specifica versione di Hadoop. Man mano che vengono rilasciate nuove versioni dei componenti Hadoop, a volte non funzionano con le versioni più recenti di altri progetti. Se sei da solo, sono necessari test significativi.

Con Bigtop (o una versione commerciale di Hadoop) puoi avere fiducia che gli esperti di Hadoop hanno fatto questo test per te. Per darti un'idea di come ha espanso Bigtop, consulta il seguente elenco di tutti i componenti inclusi in Bigtop:

• Apache Crunch

• Apache Flume

• Apache Giraph

• Apache HBase

• Apache HCatalog

• Apache Hive

• Apache Mahout

• Apache Oozie

• Apache Pig

• Apache Solr

• Apache Sqoop

• Apache Whirr

• Apache Zookeeper

• Cloudera Hue

• LinkedIn DataFu

Questa raccolta di progetti ecosistemici Hadoop è tanto ampia quanto più ampia, poiché entrambi progetti principali e minori sono inclusi. Apache Bigtop è in continua evoluzione.