Come garantire la validità, la veridicità e la volatilità dei Big Data - manichini

Alto volume, alta varietà e alta velocità sono le caratteristiche essenziali di grandi dati Ma altre caratteristiche dei big data sono ugualmente importanti, specialmente quando si applicano i big data ai processi operativi. Questo secondo set di caratteristiche "V" fondamentali per rendere operativi i big data include

• Validità: I dati sono corretti e accurati per l'uso previsto?

• Veracity: I risultati sono significativi per lo spazio dei problemi specificato?

• Volatilità: Quanto tempo è necessario per memorizzare questi dati?

Validità dati grandi

Si desidera ottenere risultati accurati. Ma nelle fasi iniziali dell'analisi di petabyte di dati, è probabile che non ti preoccuperai di quanto sia valido ogni elemento di dati. Quel flusso iniziale di big data potrebbe essere davvero piuttosto sporco. Nelle fasi iniziali, è più importante vedere se esistono relazioni tra elementi all'interno di questa massiccia fonte di dati piuttosto che assicurare che tutti gli elementi siano validi.

Tuttavia, dopo che un'organizzazione determina che parti di tale analisi iniziale dei dati sono importanti, questo sottoinsieme di big data deve essere convalidato perché verrà ora applicato a una condizione operativa. Quando i dati passano da esplorativo a azione, i dati devono essere convalidati. La validità delle grandi fonti di dati e le successive analisi devono essere accurate se si devono usare i risultati per prendere decisioni.

I dati di input validi seguiti da un'elaborazione corretta dei dati dovrebbero fornire risultati accurati. Con i big data, devi essere più vigile riguardo alla validità. Ad esempio, nel settore sanitario, potresti avere dati da una sperimentazione clinica che potrebbe essere correlata ai sintomi della malattia di un paziente. Ma un medico che tratti quella persona non può semplicemente prendere i risultati della sperimentazione clinica come senza convalidarli.

Immagina che il satellite meteorologico indichi che una tempesta sta iniziando in una parte del mondo. In che modo questa tempesta colpisce gli individui? Con circa mezzo miliardo di utenti, è possibile analizzare i flussi di Twitter per determinare l'impatto di una tempesta sulle popolazioni locali. Pertanto, l'utilizzo di Twitter in combinazione con i dati di un satellite meteorologico potrebbe aiutare i ricercatori a comprendere la veridicità di una previsione meteorologica.

Grande volatilità dei dati

Se si dispone di dati validi e può dimostrare la veridicità dei risultati, quanto tempo i dati devono "vivere" per soddisfare le proprie esigenze? In un'impostazione di dati standard, è possibile conservare i dati per decenni perché, nel tempo, si è riusciti a capire quali dati sono importanti per ciò che si fa con esso.Hai stabilito regole per la valuta e la disponibilità dei dati che si associano ai tuoi processi di lavoro.

Ad esempio, alcune organizzazioni potrebbero conservare solo l'ultimo anno dei dati dei clienti e delle transazioni nei loro sistemi aziendali. Ciò garantirà il recupero rapido di queste informazioni quando richiesto. Se hanno bisogno di guardare a un anno precedente, il team IT potrebbe dover ripristinare i dati dallo storage offline per onorare la richiesta. Con i big data, questo problema è ingrandito.

Se lo spazio di archiviazione è limitato, controlla le grandi fonti di dati per determinare cosa devi raccogliere e quanto tempo è necessario per mantenerlo. Con alcune grandi fonti di dati, potrebbe essere necessario raccogliere dati per un'analisi rapida.

È quindi possibile memorizzare le informazioni localmente per ulteriori elaborazioni. Se non si dispone di spazio sufficiente per tutti questi dati, è possibile elaborare i dati "al volo" e conservare solo informazioni rilevanti a livello locale. Per quanto tempo mantieni disponibili i big data dipende da alcuni fattori:

• Quanti dati sono conservati alla fonte?

• È necessario elaborare i dati ripetutamente?

• È necessario elaborare i dati, raccogliere ulteriori dati ed eseguire ulteriori elaborazioni?

• Avete regole o regolamenti che richiedono la memorizzazione dei dati?

• I tuoi clienti dipendono dai tuoi dati per il loro lavoro?

• I dati hanno ancora un valore o non sono più rilevanti?

A causa del volume, della varietà e della velocità dei big data, è necessario comprendere la volatilità. Per alcune fonti, i dati saranno sempre lì; per gli altri, questo non è il caso. Capire quali dati sono disponibili e per quanto tempo può aiutarti a definire requisiti e politiche di conservazione per i big data.

Come consumatore, i big data aiuteranno a definire un profilo migliore per come e quando acquisti beni e servizi. Come paziente, i big data aiuteranno a definire un approccio più personalizzato ai trattamenti e alla manutenzione della salute. In qualità di professionisti, i big data ti aiuteranno a identificare i modi migliori per progettare e fornire i tuoi prodotti e servizi.

Ciò avverrà solo quando i big data saranno integrati nei processi operativi di aziende e organizzazioni.