Dati non strutturati in un ambiente Big Data - manichini

I dati non strutturati sono dati che non seguono un formato specificato per i big data. Se il 20 percento dei dati disponibili per le imprese sono dati strutturati, l'altro 80 percento non è strutturato. I dati non strutturati sono in realtà la maggior parte dei dati che incontrerai. Fino a poco tempo fa, tuttavia, la tecnologia in realtà non supportava molto il suo utilizzo se non archiviandola o analizzandola manualmente.

Fonti di big data non strutturate

I dati non strutturati sono ovunque. In effetti, la maggior parte degli individui e delle organizzazioni conduce la propria vita su dati non strutturati. Proprio come con i dati strutturati, i dati non strutturati sono generati dalla macchina o generati dall'uomo.

Ecco alcuni esempi di dati non strutturati generati dalla macchina:

• Immagini satellitari: Questo include i dati meteorologici oi dati che il governo cattura nelle sue immagini di sorveglianza satellitare. Pensa a Google Earth e ottieni l'immagine.

• Dati scientifici: Questo include immagini sismiche, dati atmosferici e fisica delle alte energie.

• Fotografie e video: Questo include video di sicurezza, sorveglianza e traffico.

• Dati radar o sonar: Questo include profili sismici veicolari, meteorologici e oceanografici.

Il seguente elenco mostra alcuni esempi di dati non strutturati generati dall'uomo:

• Testo interno alla tua azienda: Pensa a tutto il testo all'interno di documenti, registri, risultati di sondaggi ed e-mail. Le informazioni aziendali rappresentano attualmente una grande percentuale delle informazioni testuali nel mondo.

• Dati dei social media: Questi dati vengono generati dalle piattaforme di social media come YouTube, Facebook, Twitter, LinkedIn e Flickr.

• Dati mobili: Questo include dati come messaggi di testo e informazioni sulla posizione.

• contenuto del sito Web: Viene da qualsiasi sito che fornisce contenuti non strutturati, come YouTube, Flickr o Instagram.

E l'elenco potrebbe continuare.

Alcune persone credono che il termine dati non strutturati sia fuorviante perché ogni documento può contenere la sua specifica struttura o formattazione basata sul software che lo ha creato. Tuttavia, ciò che è interno al documento è veramente non strutturato.

Di gran lunga, i dati non strutturati rappresentano la parte più grande dell'equazione dei dati e i casi d'uso per i dati non strutturati si stanno rapidamente espandendo. Solo dal lato del testo, l'analisi del testo può essere utilizzata per analizzare il testo non strutturato e per estrarre dati rilevanti e trasformare tali dati in informazioni strutturate che possono essere utilizzate in vari modi.

Ad esempio, un famoso caso d'uso dei Big Data è l'analisi dei social media da utilizzare con conversazioni di clienti con volumi elevati. Inoltre, i dati non strutturati di call centre, e-mail, commenti scritti in un sondaggio e altri documenti vengono analizzati per comprendere il comportamento dei clienti. Questo può essere combinato con i social media da decine di milioni di fonti per comprendere l'esperienza del cliente.

Il ruolo di un CMS nella gestione di big data

Le organizzazioni memorizzano alcuni dati non strutturati nei database. Tuttavia, utilizzano anche sistemi di gestione dei contenuti aziendali (CMS) in grado di gestire l'intero ciclo di vita del contenuto. Questo può includere contenuti Web, contenuti di documenti e altri supporti multimediali.

Secondo l'Associazione per l'informazione e la gestione delle immagini (AIIM), un'organizzazione senza scopo di lucro che fornisce istruzione, ricerca e migliori pratiche, Enterprise Content Management (ECM) comprende le "strategie, metodi e strumenti utilizzati per acquisire, gestire, archivia, conserva e distribuisce contenuti e documenti relativi ai processi organizzativi. "Le tecnologie incluse in ECM includono gestione dei documenti, gestione dei record, imaging, gestione del flusso di lavoro, gestione dei contenuti Web e collaborazione.

Un intero settore è cresciuto nella gestione dei contenuti e molti fornitori di content management stanno ridimensionando le proprie soluzioni per gestire grandi volumi di dati non strutturati. Tuttavia, anche le nuove tecnologie si stanno evolvendo per supportare i dati non strutturati e l'analisi dei dati non strutturati. Alcuni di questi supportano dati strutturati e non strutturati. Alcuni supportano flussi in tempo reale. Questi includono tecnologie come Hadoop, MapReduce e streaming.

I sistemi progettati per archiviare contenuti sotto forma di sistemi di gestione dei contenuti non sono più soluzioni autonome. Piuttosto, è probabile che facciano parte di una soluzione generale di gestione dei dati. Ad esempio, l'organizzazione può monitorare i feed di Twitter che possono quindi attivare a livello di codice una ricerca CMS.

Ora, la persona che ha attivato il tweet riceve una risposta che offre una posizione in cui l'individuo può trovare il prodotto che potrebbe cercare. Il più grande vantaggio è quando questo tipo di interazione può avvenire in tempo reale. Illustra inoltre il valore di sfruttare in tempo reale non strutturati, strutturati (dati dei clienti relativi alla persona che ha twittato) e semi-strutturati (i contenuti effettivi nei CMS).

La realtà è che probabilmente utilizzerai un approccio ibrido per risolvere i tuoi problemi relativi ai big data. Ad esempio, non ha senso spostare tutti i contenuti delle notizie, ad esempio, in Hadoop nei propri locali, perché dovrebbe aiutare a gestire i dati non strutturati.