Hadoop Administration Commands - dummies

Parte di Hadoop For Dummies Cheat Sheet

Qualsiasi amministratore Hadoop degno di questo nome deve padroneggiare un set completo di comandi per l'amministrazione del cluster. Il seguente elenco riepiloga i comandi più importanti, indicando cosa fa il comando e anche sintassi ed esempi. Conoscili e avanzerai lungo il cammino verso la saggezza di Hadoop.

• bilanciamento : Esegue l'utilità di bilanciamento del cluster. Il valore di soglia specificato, che rappresenta una percentuale della capacità del disco, viene utilizzato per sovrascrivere il valore di soglia predefinito (10 percento). Per interrompere il processo di ribilanciamento, premere Ctrl + C.

  Sintassi: hadoop balancer [-threshold]

  Esempio: hadoop balancer -threshold 20

• daemonlog : Ottiene o imposta il livello di registro per ogni demone (noto anche come servizio). Si collega a // host: port / logLevel? log = name e stampa o imposta il livello di log del demone in esecuzione su host: port. I daemon Hadoop generano file di log che aiutano a determinare cosa sta accadendo nel sistema, e puoi usare il comando daemonlog per modificare temporaneamente il livello di log di un componente Hadoop quando esegui il debug del sistema. La modifica diventa effettiva quando il daemon viene riavviato.

  Sintassi: hadoop daemonlog -getlevel; hadoop daemonlog -setlevel

  Esempio: hadoop daemonlog -getlevel 10. 250. 1. 15: 50030 org. apache. Hadoop. mapred. JobTracker; hadoop daemonlog -setlevel 10. 250. 1. 15: 50030 org. apache. Hadoop. mapred. JobTracker DEBUG

• datanode : Esegue il servizio DataSode HDFS, che coordina l'archiviazione su ciascun nodo slave. Se si specifica -rollback, il DataNode viene riportato alla versione precedente. Arrestare il DataNode e distribuire la versione precedente di Hadoop prima di utilizzare questa opzione.

  Sintassi: hadoop datanode [-rollback]

  Esempio: hadoop datanode -rollback

• dfsadmin : Esegue un numero di file distribuito Hadoop Operazioni amministrative di sistema (HDFS). Utilizzare l'opzione -help per visualizzare un elenco di tutte le opzioni supportate. Le opzioni generiche sono un insieme comune di opzioni supportate da diversi comandi.

  Sintassi: hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | lasciare | ottenere | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress stato | dettagli | force] [-metasave nomefile] [-setQuota …] [-clrQuota …] [-restoreFailedStorage true | false | check] [-help [cmd]]

• mradmin : Esegue un numero di MapReduce amministrativo operazioni. Utilizzare l'opzione -help per visualizzare un elenco di tutte le opzioni supportate.Ancora una volta, le opzioni generiche sono un insieme comune di opzioni supportate da diversi comandi. Se si specifica -refreshServiceAcl, viene ricaricato il file dei criteri di autorizzazione a livello di servizio (JobTracker ricarica il file dei criteri di autorizzazione); -refreshQueues ricarica gli elenchi di controllo di accesso alla coda (ACL) e lo stato (JobTracker ricarica le code in coda. file xml); -refreshNodes aggiorna le informazioni degli host sul JobTracker; -refreshUserToGroupsMappings aggiorna i mapping utente-gruppo; -refreshSuperUserGroupsConfiguration aggiorna i mapping dei gruppi di superuser superuser; e -help [cmd] visualizza la guida per il comando dato o per tutti i comandi se nessuno è specificato.

  Sintassi: hadoop mradmin [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]]

  Esempio: hadoop mradmin -help -refreshNodes

• jobtracker : Esegue il nodo MapReduce JobTracker, che coordina il sistema di elaborazione dati per Hadoop. Se si specifica -dumpConfiguration, la configurazione utilizzata da JobTracker e la configurazione della coda in formato JSON vengono scritte sullo standard output.

  Sintassi: hadoop jobtracker [-dumpConfiguration]

  Esempio: hadoop jobtracker -dumpConfiguration

• namenode : Esegue il NameNode, che coordina il archiviazione per l'intero cluster Hadoop. Se si specifica -format, il NameNode viene avviato, formattato e quindi arrestato; con -upgrade, il NameNode inizia con l'opzione di aggiornamento dopo la distribuzione di una nuova versione di Hadoop; con -rollback, il NameNode viene riportato alla versione precedente (ricordarsi di arrestare il cluster e distribuire la versione precedente di Hadoop prima di utilizzare questa opzione); con -finalize, lo stato precedente del file system viene rimosso, l'aggiornamento più recente diventa permanente, il rollback non è più disponibile e il NameNode viene arrestato; infine, con -importCheckpoint, un'immagine viene caricata dalla directory checkpoint (come specificato dal checkpoint fs. proprietà dir) e salvata nella directory corrente.

  Sintassi: namodato hadoop [-format] | [-upgrade] | [-rollback] | [-finalizzare] | [-importCheckpoint]

  Esempio: hadoop namenode -finalize

• Namenode secondario : Esegue il NameNode secondario. Se si specifica -checkpoint, viene eseguito un checkpoint sul NameNode secondario se la dimensione di EditLog (un log delle transazioni che registra ogni modifica apportata ai metadati del file system) è maggiore o uguale a fs. checkpoint. dimensione; specificare -force e un checkpoint viene eseguito indipendentemente dalla dimensione di EditLog; specificare -geteditsize e la dimensione di EditLog viene stampata.

  Sintassi: hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]

  Esempio: hadoop secondarynamenode -geteditsize

• tasktracker : Esegue un nodo TaskTracker MapReduce.

  Sintassi: hadoop tasktracker

  Esempio: hadoop tasktracker