Video: Azure Stack - An extension of Azure | Azure Friday 2024
Organizzazione di servizi dati e strumenti , livello 3 del grande stack di dati, acquisiscono, convalidano e assemblano vari elementi di big data in rilevamenti contestuali collezioni. Poiché i big data sono enormi, le tecniche si sono evolute per elaborare i dati in modo efficiente e senza interruzioni. MapReduce è una tecnica molto utilizzata. Basti dire che molti di questi servizi di dati organizzativi sono motori MapReduce, specificamente progettati per ottimizzare l'organizzazione di grandi flussi di dati.
L'organizzazione dei servizi dati è, in realtà, un ecosistema di strumenti e tecnologie che possono essere utilizzati per raccogliere e assemblare i dati in preparazione per ulteriori elaborazioni. In quanto tale, gli strumenti devono fornire integrazione, traduzione, normalizzazione e scala. Le tecnologie in questo livello includono quanto segue:
-
Un file system distribuito: Necessario per contenere la scomposizione dei flussi di dati e per fornire scalabilità e capacità di memorizzazione
-
Servizi di serializzazione: Necessario per la memorizzazione persistente dei dati e chiamate di procedura remota multilingue (RPC)
-
Servizi di coordinamento: Necessario per la creazione di applicazioni distribuite (blocco e così via) > Strumenti di estrazione, trasformazione e caricamento (ETL):
-
Necessario per il caricamento e la conversione di dati strutturati e non strutturati in Hadoop Servizi di flusso di lavoro:
-
Necessario per pianificare i lavori e fornire una struttura per sincronizzare gli elementi del processo attraverso strati
