Imposta l'ambiente Hadoop con Apache Bigtop - dummies

Se ti senti a tuo agio con VM e Linux, sentiti libero di installare Bigtop su una VM diversa da quella raccomandata. Se sei davvero audace e hai l'hardware, vai avanti e prova a installare Bigtop su un cluster di macchine in modalità completamente distribuita!

Passaggio 1: scaricare una macchina virtuale

Hadoop funziona su tutte le distribuzioni Linux più diffuse, quindi è necessaria una macchina virtuale Linux. È disponibile un'immagine CentOS 6 disponibile gratuitamente (e legale!).

Avrai bisogno di un sistema operativo a 64 bit sul tuo laptop per poter eseguire questa VM. Hadoop ha bisogno di un ambiente a 64 bit.

Dopo aver scaricato la VM, estrarla dal file Zip scaricato nella directory di destinazione. Assicurati di avere circa 50 GB di spazio disponibile come Hadoop e i tuoi dati di esempio ne avranno bisogno.

Se non si dispone già di un lettore VM, è possibile scaricarne uno gratuitamente.

Dopo aver configurato il lettore VM, aprire il lettore, andare su File → Apri, quindi andare alla directory in cui è stata estratta la VM Linux. Cerca un file chiamato e selezionalo. Vedrai informazioni su quanti processori e quanta memoria userà. Scopri quanta memoria ha il tuo computer e destinane metà alla VM. Hadoop ha bisogno di molta memoria.

Una volta che sei pronto, fai clic sul pulsante Riproduci e la tua istanza Linux verrà avviata. Vedrai volare molti messaggi mentre Linux si avvia e arriverete a una schermata di accesso. Il nome utente è già impostato su "Tom. "Specificare la password come" tomtom "ed effettuare l'accesso.

Passaggio 2: download di Bigtop

Dalla VM Linux, fare clic con il tasto destro del mouse sullo schermo e selezionare Apri in terminale dal menu contestuale che appare. Questo apre un terminale Linux, dove puoi eseguire i comandi. Fare clic all'interno del terminale in modo da poter vedere il cursore lampeggiare e immettere il seguente comando: su -

Ti verrà chiesta la password, quindi digita "tomtom" come hai fatto prima. Questo comando fa passare l'utente a root, che è l'account principale per un computer Linux: è necessario per installare Hadoop.

Con l'accesso root (non lasciare che la potenza ti venga in testa), esegui il seguente comando:

wget -O / etc / yum. pronti contro termine. d / bigtop. repo 

// www. apache. org / dist / bigtop / bigtop- 
0. 7. 0 / repos / centos6 / bigtop. repo

Il comando è essenzialmente una richiesta web, che richiede un file specifico nell'URL che è possibile vedere e lo scrive su un percorso specifico - in questo caso, è /.

Passaggio 3: Installazione di Bigtop

I geni dietro Linux hanno reso la vita abbastanza facile per le persone che hanno bisogno di installare grandi pacchetti software come Hadoop.Quello che hai scaricato nell'ultimo passaggio non era l'intero pacchetto Bigtop e tutte le sue dipendenze. Era solo un file di repository (con l'estensione), che indica al programma di installazione quali pacchetti software sono necessari per l'installazione di Bigtop.

Come ogni prodotto software di grandi dimensioni, Hadoop ha molti prerequisiti, ma non devi preoccuparti. Un file ben progettato punta a tutte le dipendenze e il programma di installazione è abbastanza intelligente da vedere se sono mancanti sul tuo computer e quindi scaricarle e installarle.

L'installer che stai usando qui si chiama yum, che puoi vedere in azione ora:

yum install hadoop * mahout * oozie * hbase * hive * hue * pig * zookeeper *

Tieni presente che stai scegliendo e scegliendo i componenti Hadoop da installare. Ci sono molti altri componenti disponibili in Bigtop, ma questi sono gli unici che userete qui. Dato che la VM è una nuova installazione di Linux, avrai bisogno di molte dipendenze, quindi dovrai aspettare un po '.

Il programma di installazione yum è piuttosto dettagliato, quindi puoi guardare esattamente ciò che viene scaricato e installato per passare il tempo. Quando il processo di installazione è terminato, dovresti vedere un messaggio che dice "Completa! "

Passaggio 4: Avvio di Hadoop

Prima di avviare l'esecuzione delle applicazioni su Hadoop, ci sono alcune cose di configurazione e configurazione di base che devi fare. Eccoli nell'ordine:

1. Scarica e installa Java:

   yum installa java-1. 7. 0-openjdk-devel. x86_64
   

2. Formatta il NameNode:

   sudo / etc / init. d / hadoop-hdfs-namenode init
   

3. Avvia i servizi Hadoop per il tuo cluster pseudodistribuito:

   per i in hadoop-hdfs-namenode hadoop-hdfs-datanode; do sudo service $ inizio; done
   

4. Crea una struttura di sottodirectory in HDFS:

   sudo / usr / lib / hadoop / libexec / init-hdfs. sh
   

5. Avvia i daemon YARN:

servizio sudo hadoop-yarn-resourcemanager avviaudo service hadoop-yarn-nodemanager start

E con ciò, hai finito. Complimenti! Hai installato una distribuzione Hadoop funzionante!

Passaggio 5: download del set di dati di esempio

Per scaricare il set di dati di esempio, aprire il browser Firefox dalla VM e andare alla pagina dataexpo.

Non avrai bisogno dell'intero set di dati, quindi inizia con un anno, 1987. Quando stai per scaricare, seleziona l'opzione Apri con Gestore di archivi.

Dopo che il file è stato scaricato, estrai il file nella tua home directory dove sarai facilmente in grado di trovarlo. Fare clic sul pulsante Estrai, quindi selezionare la directory Desktop.

Passaggio 6: Copia del set di dati di esempio in HDFS

Ricordare che i programmi Hadoop possono funzionare solo con i dati dopo che sono stati archiviati in HDFS. Quindi quello che stai per fare ora è copiare il file di dati di volo per il 1987 in HDFS. Immettere il seguente comando:

hdfs dfs -copyFromLocal 1987. csv / user / root