Casa Finanza personale Ha restituito MapReduce for Big Data - dummies

Ha restituito MapReduce for Big Data - dummies

Sommario:

Video: YouTube Ad sense data analysis using MapReduce an POC 2024

Video: YouTube Ad sense data analysis using MapReduce an POC 2024
Anonim

Per comprendere appieno le funzionalità di Hadoop MapReduce, è importante distinguere tra MapReduce (l'algoritmo) e un implementazione di MapReduce. Hadoop MapReduce è un'implementazione dell'algoritmo sviluppato e gestito dal progetto Apache Hadoop.

È utile pensare a questa implementazione come un motore MapReduce, perché è esattamente come funziona. Fornisci input (carburante), il motore converte l'input in output in modo rapido ed efficiente e ottieni le risposte che ti servono.

Hadoop MapReduce include diverse fasi, ognuna con un importante insieme di operazioni che aiutano a raggiungere il tuo obiettivo di ottenere le risposte necessarie dai big data. Il processo inizia con una richiesta dell'utente per eseguire un programma MapReduce e continua fino a quando i risultati non vengono riscritti su HDFS.

HDFS e MapReduce eseguono il lavoro sui nodi in un cluster ospitato su rack di server commodity. Per semplificare la discussione, il diagramma mostra solo due nodi.

Prepara i big data

Quando un client richiede l'esecuzione di un programma MapReduce, il primo passo è individuare e leggere il file di input contenente i dati grezzi. Il formato del file è completamente arbitrario, ma i dati devono essere convertiti in qualcosa che il programma può elaborare. Questa è la funzione di InputFormat e RecordReader. InputFormat decide in che modo il file verrà suddiviso in parti più piccole per l'elaborazione utilizzando una funzione chiamata InputSplit.

Assegna quindi un RecordReader per trasformare i dati grezzi da elaborare dalla mappa. Diversi tipi di RecordReader sono forniti con Hadoop, offrendo un'ampia varietà di opzioni di conversione. Questa funzionalità è uno dei modi in cui Hadoop gestisce l'enorme varietà di tipi di dati trovati nei problemi dei big data.

Inizia la mappa dei big data

I tuoi dati ora sono in una forma accettabile da mappare. Per ogni coppia di input, viene richiamata un'istanza distinta di mappa per elaborare i dati. Ma cosa fa con l'output processato e come puoi tenerne traccia?

La mappa ha due funzionalità aggiuntive per rispondere alle domande. Poiché la mappa e la riduzione devono collaborare per elaborare i dati, il programma deve raccogliere l'output dai mappatori indipendenti e passarlo ai riduttori. Questa attività viene eseguita da un OutputCollector. Una funzione Reporter fornisce anche le informazioni raccolte dalle attività della mappa in modo da sapere quando o se le attività della mappa sono complete.

Tutto questo lavoro viene eseguito su più nodi nel cluster Hadoop contemporaneamente.Potresti avere casi in cui l'output di determinati processi di mappatura deve essere accumulato prima che i riduttori possano iniziare. Oppure, alcuni dei risultati intermedi potrebbero dover essere elaborati prima della riduzione.

Inoltre, alcuni di questi output potrebbero trovarsi su un nodo diverso dal nodo in cui verranno eseguiti i riduttori per quell'output specifico. La raccolta e il mescolamento dei risultati intermedi sono eseguiti da un partizionatore e un ordinamento. Le attività della mappa forniranno i risultati a una partizione specifica come input per ridurre le attività.

Dopo che tutte le attività della mappa sono state completate, i risultati intermedi vengono raccolti nella partizione e si verifica uno shuffling, ordinando l'output per l'elaborazione ottimale riducendo.

Riduci e combina per i big data

Per ogni coppia di output, viene chiamato riduci per eseguire il suo compito. In modo simile alla mappa, ridurre raccoglie il suo output mentre tutte le attività sono in fase di elaborazione. La riduzione non può iniziare finché non viene eseguita tutta la mappatura. L'output di reduce è anche una chiave e un valore. Sebbene sia necessario per ridurre a svolgere il proprio lavoro, potrebbe non essere il formato di output più efficace per la propria applicazione.

Hadoop fornisce una funzione OutputFormat e funziona molto come InputFormat. OutputFormat accetta la coppia chiave-valore e organizza l'output per la scrittura su HDFS. L'ultimo compito è di scrivere effettivamente i dati su HDFS. Questo viene eseguito da RecordWriter e si comporta in modo simile a RecordReader, tranne che al contrario. Prende i dati OutputFormat e li scrive su HDFS nella forma necessaria per i requisiti del programma.

Il coordinamento di tutte queste attività è stato gestito nelle versioni precedenti di Hadoop da un programmatore di lavoro. Questo programma di pianificazione era rudimentale e, poiché il mix di posti di lavoro cambiava e cresceva, era chiaro che era necessario un approccio diverso. L'insufficienza primaria del vecchio programma di pianificazione era la mancanza di gestione delle risorse. L'ultima versione di Hadoop ha questa nuova funzionalità.

Hadoop MapReduce è il cuore del sistema Hadoop. Fornisce tutte le funzionalità necessarie per rompere i big data in blocchi gestibili, elaborare i dati in parallelo sul cluster distribuito e quindi rendere i dati disponibili per il consumo dell'utente o l'elaborazione aggiuntiva. E tutto questo funziona in modo altamente resiliente e tollerante ai guasti. Questo è solo l'inizio.

Ha restituito MapReduce for Big Data - dummies

Scelta dell'editore

Scattare foto digitali con uno zoom ottico - dummy

Scattare foto digitali con uno zoom ottico - dummy

La fotocamera digitale potrebbe avere uno zoom ottico, che è un Obiettivo zoom attuale vecchio stile (al contrario di uno zoom digitale). Per utilizzare lo zoom ottico della fotocamera digitale per scatti ravvicinati, segui questi passaggi di preparazione delle immagini prima di attivare il pulsante o lo switch di zoom:

La reflex digitale e la sensibilità alla luce - dummy

La reflex digitale e la sensibilità alla luce - dummy

La tua reflex digitale ha un'opzione per determinare la sensibilità del sensore della fotocamera è alla luce. Le fotocamere digitali sono le stesse delle fotocamere a pellicola in quanto la sensibilità alla luce è determinata dalla valutazione ISO. Il vantaggio di una fotocamera digitale è che non è necessario cambiare pellicola per modificare le valutazioni ISO. Quando aumenti ...

Scatti grandangolari con obiettivi standard - manichini

Scatti grandangolari con obiettivi standard - manichini

Fotografia grandangolare con un angolo di campo maggiore rispetto alla lunghezza focale normale o teleobiettivo. A volte si percepiscono le foto come molto espansive. Altre volte, a malapena lo si nota. Dipende tutto dal soggetto e da come si inquadra la scena. Questa figura mostra una scena di terreni agricoli che è stata scattata utilizzando un Sony APS-C ...

Scelta dell'editore

Come usare il meta tag DESCRIPTION - dummies

Come usare il meta tag DESCRIPTION - dummies

I meta tag sono tag HTML speciali che puoi utilizzare per trasportare informazioni, che i browser o altri programmi possono quindi leggere. Quando i motori di ricerca di Internet furono creati per la prima volta, i webmaster includevano i meta tag nelle loro pagine per rendere più facile per i motori di ricerca determinare le pagine. I motori di ricerca hanno utilizzato anche questi meta ...

Come scrivere un grande tag Title Web Marketing - dummies

Come scrivere un grande tag Title Web Marketing - dummies

Scrivere un tag title è fondamentale per il successo del web marketing e coinvolge più che mettere le parole chiave prima. I motori di ricerca mostrano il tag parola chiave nella parte superiore di ciascun elemento nelle pagine dei risultati dei motori di ricerca (SERP). Un tag del titolo ben scritto potrebbe aumentare le probabilità che un cliente in ricerca faccia clic sul tuo annuncio. Se ...

In che modo Yahoo! Cerca negli elenchi di Internet e dei ranghi - dummies

In che modo Yahoo! Cerca negli elenchi di Internet e dei ranghi - dummies

Quando le persone effettuano ricerche sul Web utilizzando Yahoo! , ottengono una combinazione di risultati organici e pagati. Se lavori per una società più grande, potresti provare Yahoo! La ricerca inoltra Pro per ottenere un vantaggio rispetto alla concorrenza e puoi persino registrare il tuo sito con Yahoo! Directory. Yahoo! I risultati di ricerca organica ...

Scelta dell'editore

Di Spotify su ShareMyPlaylists. it Funzionalità del sito - dummies

Di Spotify su ShareMyPlaylists. it Funzionalità del sito - dummies

ShareMyPlaylists (o SMP, in breve) è stato uno dei primi siti di condivisione di playlist Spotify e continua a innovare e offrire nuove funzionalità ai visitatori. Il mantra del sito è "Long Live the Mixtape", e qui troverai tantissime creazioni accuratamente compilate da migliaia di utenti. Dopo aver creato una playlist Spotify piena di ...

Spotify Unlimited - dummies

Spotify Unlimited - dummies

Spotify Unlimited è un modo brillante per ascoltare tutta la musica che vuoi senza limiti. È come una persona speciale che ti compra da mangiare e da bere tutta la sera per non doverti preoccupare del conto. È come essere in grado di dormire nel weekend senza preoccuparsi del lavoro o se ...

I generi di Spotify - dummies

I generi di Spotify - dummies

Che si tratti di hard rock, techno, pop, jazz, industrial, indie pop, folk , classico, heavy metal, valzer o qualsiasi altra cosa ti piaccia, Spotify ha il genere o il tipo di musica coperto. Puoi cercare i generi comuni da Spotify. Sebbene Spotify abbia pubblicato un elenco di quasi 1, 000 generi noti, non tutti saranno in grado di offrire ...