Sommario:
Video: ? HALF RACK della TOORX RECENSIONE PALESTRA - L' ho Preso! 2024
Un principio fondamentale di Hadoop si sta estendendo con nodi slave aggiuntivi per soddisfare le crescenti esigenze di archiviazione e elaborazione dei dati. In un modello di scalabilità orizzontale, è necessario considerare attentamente la progettazione del cluster perché decine e persino centinaia di nodi slave dovranno alla fine essere sottoposti a rack, alimentati, collegati in rete e raffreddati.
Fattori di forma del server
Una delle prime scelte che gli architetti IT dovranno affrontare durante la progettazione di un cluster Hadoop è quale dei seguenti due fattori di forma da utilizzare per i nodi Hadoop:
-
Server blade: Progettato per la massima densità, è possibile stipare il maggior numero possibile di questi bambini in un rack. I server blade si adattano ai contenitori blade, che dispongono di numerosi componenti server standard, come storage dedicato, networking, alimentazione e raffreddamento. Questi componenti sono condivisi tra i server blade, il che significa che ogni singolo server blade può essere molto più piccolo.
I server blade sono una scelta attraente in superficie perché è possibile utilizzare un rack standard e distribuire tra 40 e 50 di questi server blade. Il problema con l'utilizzo dei blade per le distribuzioni Hadoop è che si basano su determinati componenti condivisi, il che non è in linea con l'architettura a zero condiviso di Hadoop, dove ciascuno dei nodi slave è autonomo e ha le proprie risorse dedicate.
Ancora più importante, i blade hanno poco spazio per l'archiviazione collegata localmente, spesso senza più di due o tre alloggiamenti per unità. Questo è un non-starter per Hadoop, poiché i nodi slave necessitano di molta più capacità di archiviazione dedicata.
-
Server rack: Server completi senza componenti condivisi e spazio per l'espansione dell'hardware, i server rack sono la vera scelta per Hadoop perché sono ben autosufficienti. Un server rack correttamente configurato per essere un nodo slave Hadoop occupa in genere due RU, quindi è possibile inserirne 20 in un rack standard.
Costo di proprietà
Quando si sceglie e si progetta un nodo slave, le considerazioni più importanti sono in genere i costi di approvvigionamento iniziali e il volume di archiviazione. Tuttavia, anche il costo di proprietà è importante. È comunque un buon equilibrio, perché le scelte che influiscono sui costi di approvvigionamento, il consumo energetico, il raffreddamento, le prestazioni dell'hardware e la densità sono spesso in opposizione. Nel nome dell'aiutarti a fare delle buone scelte, ecco alcuni consigli (piuttosto specifici):
-
Riserva alimentatori ridondanti per i nodi master. La presenza di alimentatori ridondanti per i nodi slave è eccessiva: un guasto dell'alimentazione in un nodo slave non influisce notevolmente sul cluster.Tuttavia, disporre di alimentatori ridondanti su tutti i nodi slave aumenterebbe il consumo di energia e genererebbe più calore.
-
Scegli le velocità di clock del mezzo della strada per slave CPU dei nodi. Le CPU con velocità di clock superiori non solo costano di più ma utilizzano anche più energia e generano molto più calore.
-
Scegli server rack progettati per Hadoop. Con la crescente popolarità di Hadoop, tutti i principali fornitori di hardware ora offrono server rack che sono i nodi slave ideali, con da 12 a 20 alloggiamenti per lo storage collegato localmente.
I server rack progettati per funzionare come nodi slave Hadoop sono in genere troppo grandi per rientrare in un fattore di forma di una sola unità di gestione, ma l'acquisizione di due RU può comportare uno spreco di spazio. Per un uso più efficiente dello spazio, alcuni produttori di hardware hanno rilasciato server rack che racchiudono più nodi slave in un singolo chassis.
Ad esempio, in questo modulo compresso, un rack standard può avere fino a 27 nodi slave (anche con switch di rete), dove ogni nodo slave ha spazio per 15 dischi per HDFS. Il risultato di questa soluzione è una densità molto più elevata e un migliore utilizzo dello spazio nel data center.
