3 Hadoop Cluster Configurations - dummies

1 3

Distribuzione Hadoop a rack singolo

Una distribuzione su rack singolo è un punto di partenza ideale per un cluster Hadoop.

Qui il cluster è abbastanza autonomo, ma poiché ha ancora relativamente pochi nodi slave, i veri benefici della resilienza di Hadoop non sono ancora evidenti.

2 3

Distribuzione Hadoop a tre rack

Un cluster di medie dimensioni dispone di più rack, in cui i tre nodi principali sono distribuiti tra i rack.

La resilienza di Hadoop comincia a diventare evidente: anche se un intero rack dovesse fallire (ad esempio, entrambi gli switch ToR in un singolo rack), il cluster funzionerebbe comunque, sebbene a un livello inferiore di prestazioni. Un guasto del nodo slave sarebbe a malapena visibile.

3 3

Distribuzione Hadoop su larga scala

In cluster più grandi con molti rack, come nell'esempio mostrato, l'architettura di rete richiesta è piuttosto sofisticata.

Indipendentemente dal numero di rack in cui si espandono i cluster Hadoop, i nodi slave da qualsiasi rack devono essere in grado di parlare in modo efficiente ?? a qualsiasi nodo principale.

Poiché il numero di nodi slave aumenta al punto in cui si hanno più di tre rack, i rack aggiuntivi sono composti solo da nodi slave, oltre agli interruttori ToR. Se stai utilizzando pesantemente HBase sul tuo cluster, puoi aggiungere nodi master per ospitare ulteriori servizi HMaster e Zookeeper.

Se ti sei laureato su una scala davvero enorme, in cui hai centinaia di nodi slave, potresti dover utilizzare le funzionalità di federazione HDFS in modo che porzioni ampie dei tuoi set di dati siano gestite da diversi servizi NameNode.

Per ogni NomeNodo Attivo aggiuntivo, è necessario un NomeNodo Standby corrispondente e due nodi master per ospitare questi server. Con la federazione HDFS, il cielo è davvero il limite in termini di quanto lontano puoi scalare i tuoi cluster.

Indietro Avanti