Dimensionare il tuo Hadoop Cluster - dummies

Dimensionare qualsiasi sistema di elaborazione dati è tanto una scienza quanto è un'arte: con Hadoop, ad esempio, si considerano le stesse informazioni che si farebbe con un database relazionale. Soprattutto, è necessario conoscere quanti dati si hanno, stimare i tassi di crescita previsti e stabilire una politica di conservazione (per quanto tempo

Le risposte a queste domande fungono da punto di partenza, indipendente da qualsiasi requisito relativo alla tecnologia.

Dopo aver determinato quanti dati è necessario archiviare, è possibile iniziare a prendere in considerazione considerazioni specifiche di Hadoop Supponendo di disporre di un'azienda di telecomunicazioni e di aver stabilito che occorrono 750 terabyte (TB) di spazio di archiviazione per i relativi file di registro dei record di chiamata (CDR). Conservi questi documenti per obbedire ai regolamenti governativi, ma puoi anche analizzarli t o vedere modelli di abbandono e monitorare lo stato della rete, ad esempio. Per determinare la quantità di spazio di archiviazione necessaria e, di conseguenza, il numero di rack e nodi slave necessari, eseguire i calcoli tenendo presente questi fattori:

Replica:

• Il fattore di replicazione predefinito per i dati in HDFS è 3. I 500 terabyte di dati CDR per la compagnia di telecomunicazioni nell'esempio diventano quindi 1500 terabyte. Spazio di swap:

• Qualsiasi analisi o elaborazione dei dati da parte di MapReduce necessita di un ulteriore 25% di spazio per memorizzare qualsiasi serie di risultati intermedi e finali. (L'azienda di telecomunicazioni ora necessita di 1875 terabyte di spazio di archiviazione.)

  Compressione:

• La compagnia telefonica memorizza i CDR in formato compresso, dove il rapporto di compressione medio è previsto in 3: 1. Ora sono necessari 625 terabyte. Numero di nodi slave:

• Supponendo che ogni nodo slave abbia dodici unità da 3 TB dedicate a HDFS, ciascun nodo slave dispone di 36 terabyte di memoria HDFS non elaborata, pertanto l'azienda necessita di 18 nodi slave. Numero di rack:

• Poiché ciascun nodo slave utilizza 2RU e la società nell'esempio richiede tre nodi master (1RU a testa) e due interruttori ToR (1RU a testa), è necessario un totale di 41RU. È 1RU inferiore alla capacità totale di un rack standard, quindi un singolo rack è sufficiente per questa distribuzione. Indipendentemente da ciò, non rimane spazio per la crescita in questo cluster, quindi è prudente acquistare un secondo rack (e due switch ToR aggiuntivi) e dividere i nodi slave tra i due rack.

  Test:

• Il mantenimento di un cluster di test che sia una rappresentazione in scala ridotta del cluster di produzione è una pratica standard. Non deve essere enorme, ma vuoi almeno cinque nodi di dati in modo da ottenere una rappresentazione accurata del comportamento di Hadoop.Come con qualsiasi ambiente di test, dovrebbe essere isolato su una rete diversa dal cluster di produzione. Backup e ripristino di emergenza:

• Come qualsiasi sistema di produzione, anche la società di telecomunicazioni dovrà considerare i requisiti di backup e ripristino di emergenza. Questa azienda potrebbe arrivare al punto di creare un cluster mirror per garantire che abbiano uno standby caldo per l'intero sistema. Questa è ovviamente l'opzione più costosa, ma è appropriata per gli ambienti in cui l'uptime costante è fondamentale. Alla fine meno costosa dello spettro (oltre a non eseguire il backup dei dati), la compagnia di telecomunicazioni potrebbe regolarmente eseguire il backup di tutti i dati (inclusi i dati stessi, le applicazioni, i file di configurazione e i metadati) memorizzati nel loro cluster di produzione registrare. Con il nastro, i dati non sono immediatamente accessibili, ma consentirà uno sforzo di disaster recovery nel caso in cui l'intero cluster Hadoop di produzione non riesca.

  Come con il proprio personal computer, quando l'unità disco rigido principale si riempie di spazio, il sistema rallenta notevolmente. Hadoop non fa eccezione. Inoltre, un disco rigido ha prestazioni migliori quando è inferiore all'85-90 percento. Tenendo a mente queste informazioni, se le prestazioni sono importanti per te, dovresti aumentare il fattore spazio di swap dal 25 al 33 percento.