Casa Finanza personale I fondamenti dell'integrazione dei Big Data - dummies

I fondamenti dell'integrazione dei Big Data - dummies

Video: Algoritmi e struttura dati 2025

Video: Algoritmi e struttura dati 2025
Anonim

Gli elementi fondamentali della piattaforma di big data gestiscono i dati in modi nuovi rispetto al tradizionale database relazionale. Ciò è dovuto alla necessità di avere la scalabilità e le alte prestazioni richieste per gestire sia i dati strutturati che non strutturati.

I componenti del grande ecosistema di dati che vanno da Hadoop a NoSQL DB, MongoDB, Cassandra e HBase hanno tutti un proprio approccio per l'estrazione e il caricamento dei dati. Di conseguenza, i team potrebbero aver bisogno di sviluppare nuove competenze per gestire il processo di integrazione tra queste piattaforme. Tuttavia, molte delle best practice della gestione dei dati della tua azienda diventeranno ancora più importanti quando entrerai nel mondo dei big data.

Mentre i big data introducono un nuovo livello di complessità di integrazione, i principi fondamentali di base si applicano ancora. Il tuo obiettivo aziendale deve essere focalizzato sulla fornitura di dati affidabili e di qualità all'organizzazione nel momento giusto e nel contesto giusto.

Per garantire questa fiducia, è necessario stabilire regole comuni per la qualità dei dati con particolare attenzione all'accuratezza e alla completezza dei dati. Inoltre, è necessario un approccio completo allo sviluppo di metadati aziendali, tenendo traccia della discendenza e della governance dei dati per supportare l'integrazione dei dati.

Allo stesso tempo, gli strumenti tradizionali per l'integrazione dei dati si stanno evolvendo per gestire la crescente varietà di dati non strutturati e il crescente volume e velocità dei big data. Mentre le forme tradizionali di integrazione assumono nuovi significati in un mondo di big data, le vostre tecnologie di integrazione necessitano di una piattaforma comune che supporti la qualità e la profilazione dei dati.

Per prendere decisioni aziendali corrette basate sull'analisi dei big data, queste informazioni devono essere considerate attendibili e comprese a tutti i livelli dell'organizzazione. Anche se probabilmente non sarà il costo o il tempo effettivo per essere eccessivamente preoccupati per la qualità dei dati nella fase esplorativa di un'analisi di big data, alla fine la qualità e la fiducia devono giocare un ruolo se i risultati devono essere incorporati nel processo aziendale.

Le informazioni devono essere fornite all'azienda in un modo affidabile, controllato, coerente e flessibile all'interno dell'azienda, indipendentemente dai requisiti specifici dei singoli sistemi o applicazioni. Per raggiungere questo obiettivo, si applicano tre principi di base:

  • È necessario creare una comprensione comune delle definizioni dei dati. Nelle fasi iniziali dell'analisi dei Big Data, non è probabile che tu abbia lo stesso livello di controllo sulle definizioni dei dati come con i tuoi dati operativi.Tuttavia, una volta identificati i modelli che sono più rilevanti per la tua azienda, hai bisogno della capacità di mappare gli elementi dei dati a una definizione comune.

  • È necessario sviluppare un set di servizi dati per qualificare i dati e renderli coerenti e in definitiva affidabili. Quando le origini non strutturate e di grandi dimensioni sono integrate con dati operativi strutturati, è necessario essere certi che i risultati saranno significativi.

  • È necessario un modo semplificato per integrare le fonti di dati di grandi dimensioni e i sistemi di registrazione. Per prendere buone decisioni in base ai risultati dell'analisi dei Big Data, è necessario fornire le informazioni al momento giusto e con il contesto giusto. Il tuo processo di integrazione dei big data dovrebbe garantire coerenza e affidabilità.

Per integrare i dati in ambienti applicativi misti, ottenere dati da un ambiente dati (origine) a un altro ambiente dati (obiettivo). Le tecnologie di estrazione, trasformazione e caricamento (ETL) sono state utilizzate per realizzare questo negli ambienti di data warehouse tradizionali. Il ruolo di ETL si sta evolvendo per gestire nuovi ambienti di gestione dei dati come Hadoop.

In un ambiente big data, potrebbe essere necessario combinare strumenti che supportano i processi di integrazione batch (utilizzando ETL) con l'integrazione e la federazione in tempo reale su più origini. Ad esempio, un'azienda farmaceutica potrebbe aver bisogno di miscelare i dati memorizzati nel suo sistema Master Data Management (MDM) con grandi fonti di dati sui risultati medici dell'uso di droghe dei clienti.

Le aziende utilizzano MDM per facilitare la raccolta, l'aggregazione, il consolidamento e la distribuzione di dati coerenti e affidabili in modo controllato all'interno dell'azienda. Inoltre, nuovi strumenti come Sqoop e Scribe sono utilizzati per supportare l'integrazione di ambienti Big Data. Trovi inoltre un'enfasi crescente sull'uso delle tecnologie di estrazione, carico e trasformazione (ELT). Queste tecnologie sono descritte di seguito.

I fondamenti dell'integrazione dei Big Data - dummies

Scelta dell'editore

Come leggere dal file in PHP per la programmazione HTML5 e CSS3 - manichini

Come leggere dal file in PHP per la programmazione HTML5 e CSS3 - manichini

Se puoi scrivere dati in un file in PHP, sarebbe logico che tu possa leggere da quel file anche per la programmazione HTML5 e CSS3. Il readContact. programma php recupera i dati salvati nel programma precedente e li visualizza sullo schermo. Non è difficile scrivere un programma per leggere ...

Come usare una classe PHP in uno script - dummy

Come usare una classe PHP in uno script - dummy

Il codice classe PHP deve essere inserito lo script che usa la classe. Più comunemente, la classe viene archiviata in un file di inclusione separato ed è inclusa in qualsiasi script che utilizza la classe. Per usare un oggetto, devi prima creare l'oggetto dalla classe. Quindi quell'oggetto può eseguire qualsiasi metodo che ...

Scelta dell'editore

Come usare lo strumento Timbro clone di Photoshop - manichini

Come usare lo strumento Timbro clone di Photoshop - manichini

Puoi usare lo strumento Timbro clone in Photoshop per rimuovere gli angoli e altri difetti copiando una porzione dei pixel circostanti, che dovrebbero avere un colore e una consistenza simili, sopra la parte malata dell'immagine. Per utilizzare lo strumento Timbro clone, attenersi alla seguente procedura: Selezionare lo strumento Timbro clone dallo strumento ...

Come disinstallare e reinstallare Photoshop Lightroom - dummies

Come disinstallare e reinstallare Photoshop Lightroom - dummies

Se si nota un problema con Lightroom la prima volta che si avvia esso, qualcosa potrebbe essere andato storto durante il processo di installazione. Disinstallare e quindi reinstallare potrebbe essere tutto ciò che è necessario per correggere il problema. Il processo è diverso per ogni sistema operativo, quindi ecco i passaggi separati per ciascuno. Su Windows: Chiudi tutto ...

Fotografia For Dummies Cheat Sheet - dummies

Fotografia For Dummies Cheat Sheet - dummies

La fotografia è un hobby divertente e gratificante che può renderti molto popolare tra la gente nelle tue foto - o molto impopolare. Per ottenere il massimo da una fotocamera "inquadra e scatta", digitale o meno, la prima abilità da padroneggiare è bloccare l'attenzione. Puoi perfezionare le tue abilità fotografiche in modo che le tue foto siano ...

Scelta dell'editore

Agire per aumentare le emozioni edificanti - manichini

Agire per aumentare le emozioni edificanti - manichini

Al fine di elevare le tue emozioni, il primo passo è diventare consapevoli di quale emozioni che hai Diventa consapevole di ciò che ti innesca: cosa ti mette in agitazione e ti fa arrabbiare e ciò che ti rende molto eccitato. Un trigger sta guardando alcuni programmi televisivi e consente alle emozioni di questi programmi di permeare ...

Come le aziende ti convincono ad acquistare i loro prodotti - manichini

Come le aziende ti convincono ad acquistare i loro prodotti - manichini

Quasi tutti i media commerciali destinati alle donne ottengono la loro pubblicità entrate dalle industrie del cibo, della bellezza, della dieta e della moda. Solo l'industria della dieta stessa è un'impresa commerciale da 33 miliardi di dollari l'anno. E, naturalmente, queste industrie hanno bisogno di clienti in modo continuativo per continuare a avere successo. È nel loro interesse per ...

Come si forma l'immagine del corpo nella tua gioventù - dummies

Come si forma l'immagine del corpo nella tua gioventù - dummies

In generale, ciò che hai vissuto con la tua famiglia quando stavano crescendo ha avuto un effetto diretto sui pensieri e le sensazioni che hai avuto sul tuo corpo. Ripensa ai tuoi anni più giovani. Quanto attentamente le seguenti affermazioni descrivono la tua famiglia? Nessuno ha esercitato. L'auto è stata utilizzata anche per viaggi brevi. Cibo pesante e da ingrasso ...