Video: Hadoop Processing Frameworks 2025
Dopo la fase Mappa e prima dell'inizio della fase di riduzione è un processo di handoff, noto come shuffle e sort . Qui, i dati delle attività del mappatore vengono preparati e spostati nei nodi in cui verranno eseguite le attività del riduttore. Una volta completata l'attività del mappatore, i risultati vengono ordinati per chiave, partizionati se esistono riduttori multipli e quindi scritti su disco.
Puoi vedere questo concetto nella figura seguente, che mostra il flusso di elaborazione dati MapReduce e la sua interazione con i componenti fisici del cluster Hadoop. (Una nota veloce: i dati in memoria sono rappresentati da quadratini bianchi e i dati memorizzati sul disco sono rappresentati da quadrati grigi.)
Per accelerare il processo MapReduce complessivo, i dati vengono immediatamente spostati nei nodi delle attività del riduttore, per evitare un flusso di attività della rete quando l'attività del mappatore finale termina il suo lavoro. Questo trasferimento avviene mentre l'attività del mappatore è in esecuzione, poiché gli output per ciascun record - ricorda - sono memorizzati nella memoria di un'attività di riduzione in attesa. (È possibile configurare se ciò accade - o non accade - e anche il numero di thread coinvolti.)
Tenere presente che anche se un'attività di riduzione può avere la maggior parte dell'output dell'attività del programma di definizione, l'elaborazione dell'attività di riduzione non può iniziare fino a quando non sono state completate tutte le attività del programma di definizione.
Per evitare scenari in cui le prestazioni di un lavoro MapReduce sono ostacolate da un'attività di mappatura in conflitto che è in esecuzione su un nodo slave con prestazioni scadenti, il framework MapReduce utilizza un concetto chiamato esecuzione speculativa .
Nel caso in cui alcune attività del mappatore siano più lente di quelle considerate ragionevoli, l'Application Master genererà attività duplicate (in Hadoop 1, il JobTracker esegue questa operazione). Qualunque attività finisca prima - il duplicato o l'originale - i suoi risultati vengono archiviati su disco e l'altra attività viene uccisa. Se stai monitorando da vicino i tuoi lavori e ti stai chiedendo perché ci sono più attività di mapper in esecuzione di quanto ti aspetti, questo è un probabile motivo.
L'output delle attività del mapping non viene scritto su HDFS, ma su disco locale sul nodo slave in cui è stata eseguita l'attività del mapping. Come tale, non è replicato attraverso il cluster Hadoop.
Oltre a comprimere l'output, è possibile potenziare le prestazioni eseguendo un'attività combinatore. Questa semplice tattica, mostrata qui, comporta l'esecuzione di una riduzione locale dell'output per le singole attività del mapper.
Nella maggior parte dei casi, non è necessaria alcuna programmazione aggiuntiva, poiché è possibile indicare al sistema di utilizzare la funzione di riduzione. Se non si utilizza la funzione di riduzione, è necessario assicurarsi che l'uscita della funzione combinatore sia identica a quella della funzione di riduzione.
Dipende dal framework MapReduce se la funzione combinatore deve essere eseguita una volta, più volte o mai, quindi è fondamentale che il codice del combinatore garantisca che i risultati finali non siano influenzati da più esecuzioni. L'esecuzione del combinatore può produrre un vantaggio in termini di prestazioni riducendo la quantità di dati intermedi che altrimenti avrebbero bisogno di essere trasferiti sulla rete.
Ciò riduce anche la quantità di elaborazione che le attività del riduttore dovrebbero fare. Stai eseguendo un compito extra qui, quindi è possibile che qualsiasi guadagno di prestazioni sia trascurabile o possa anche peggiorare le prestazioni complessive. Il tuo chilometraggio può variare, quindi prova questo attentamente.
Dopo che tutti i risultati delle attività del mapper sono stati copiati nei nodi delle attività del riduttore, questi file vengono uniti e ordinati.
