Metti insieme i tuoi Big Data - manichini

Come saprai mettere insieme tutti i tuoi dati? Con un progetto di Big Data, quello che vuoi fare con i tuoi dati strutturati e non strutturati indica perché potresti scegliere un pezzo di tecnologia rispetto a un altro. Determina inoltre la necessità di comprendere le strutture di dati in entrata per mettere questi dati nel posto giusto.

Gestisci diversi tipi di dati per i big data

Dovrai considerare alcune delle caratteristiche dei big data e i tipi di sistemi di gestione dei dati che potresti voler utilizzare per indirizzare ognuno di essi.

Integrazione dei tipi di dati in un ambiente di grandi quantità di dati

Un altro aspetto importante dei big data è che spesso non è necessario possedere tutti i dati che verranno utilizzati. Molti esempi fanno il punto. Potresti sfruttare i dati dei social media, i dati provenienti da statistiche di settore di terze parti o persino i dati provenienti dai satelliti. Pensa ai social media e capirai.

Spesso, diventa necessario integrare diverse fonti. Questi dati potrebbero provenire da tutti i sistemi interni, da fonti interne ed esterne o da fonti interamente esterne. Gran parte di questi dati potrebbe essere stata disattivata prima.

I dati non devono venire da te in tempo reale. Potresti averne un sacco ed è di natura disparata. Questo potrebbe ancora definirsi un grosso problema di dati. Naturalmente, potresti anche trovarti di fronte a uno scenario in cui vedi enormi volumi di dati, ad alta velocità, ed è di natura disparata.

Il punto è che non si otterrà il valore aziendale se si ha a che fare con una varietà di fonti di dati come un insieme di silos di informazioni disconnessi.

I componenti necessari includono connettori e metadati.

Connettori

Si desidera disporre di alcuni connettori che consentono di estrarre i dati da varie fonti di dati di grandi dimensioni. Forse vuoi un connettore Twitter o Facebook. Forse hai bisogno di integrarti dal tuo data warehouse con una grande fonte di dati fuori dai tuoi locali, in modo che tu possa analizzare entrambe queste fonti di dati insieme.

Metadati

Un componente fondamentale per l'integrazione di tutti questi dati sono i metadati. Metadati sono le definizioni, i mapping e altre caratteristiche utilizzate per descrivere come trovare, accedere e utilizzare i componenti di dati (e software) dell'azienda. Un esempio di metadati sono dati su un numero di account. Questo potrebbe includere il numero, la descrizione, il tipo di dati, il nome, l'indirizzo, il numero di telefono e il livello di privacy.

I metadati possono essere utilizzati per aiutarti a organizzare i tuoi archivi di dati e gestire nuove e mutevoli fonti di dati. Sebbene l'idea dei metadati non sia nuova, sta cambiando e evolvendo nel contesto dei big data.Nel mondo dei metadati tradizionali, è importante disporre di un catalogo che fornisca una vista unica di tutte le origini dati.

Ma questo catalogo dovrà essere diverso quando non si controllano tutte queste origini dati. Potrebbe essere necessario uno strumento analitico che ti aiuti a comprendere i metadati sottostanti.