Video: Introduzione al Corso online Open data 2024
I dati contenuti in database, documenti, e-mail e altri file di dati per l'analisi predittiva possono essere classificati come dati strutturati o non strutturati. I dati strutturati sono ben organizzati, seguono un ordine coerente, sono relativamente facili da cercare e interrogare e possono essere facilmente accessibili e compresi da una persona o da un programma per computer.
Un classico esempio di dati strutturati è un foglio di calcolo Excel con colonne etichettate. Tali dati strutturati sono coerenti; intestazioni di colonne - di solito descrizioni brevi e precise del contenuto di ogni colonna - indicano esattamente quale tipo di contenuto aspettarsi.
I dati strutturati vengono solitamente memorizzati in schemi ben definiti come i database. Di solito è tabellare, con colonne e righe che definiscono chiaramente i suoi attributi.
I dati non strutturati , d'altro canto, tendono ad essere liberi, non tabulari, dispersi e non facilmente recuperabili; tali dati richiedono un intervento deliberato per dare un senso a questo. Varie e-mail, documenti, pagine Web e file (sia di testo, audio e / o video) in posizioni sparse sono esempi di dati non strutturati.
È difficile classificare il contenuto di dati non strutturati. Tende ad essere principalmente testo, di solito è creato in un miscuglio di stili in forma libera, e trovare qualsiasi attributo che puoi usare per descriverlo o raggrupparlo non è un compito da poco.
Il contenuto dei dati non strutturati è difficile da utilizzare o da impostare a livello di programmazione. I programmi per computer non possono analizzare o generare rapporti su tali dati, semplicemente perché mancano di struttura, non hanno caratteristiche dominanti sottostanti e le singole voci di dati non hanno un terreno comune.
In generale, c'è una percentuale più alta di dati non strutturati rispetto ai dati strutturati nel mondo. I dati non strutturati richiedono più lavoro per renderlo utile, in modo da ottenere più attenzione, quindi tendono a consumare più tempo.
Non sottovalutare l'importanza dei dati strutturati e il potere che porta alla tua analisi. È molto più efficiente analizzare i dati strutturati che analizzare i dati non strutturati. I dati non strutturati possono anche essere costosi per il pre-elaborazione per l'analisi mentre si sta costruendo un progetto di analisi predittiva. La selezione dei dati rilevanti, la loro pulizia e le successive trasformazioni possono essere lunghe e noiose.
I risultanti nuovi dati organizzati da quelle fasi di pre-elaborazione necessarie possono quindi essere utilizzati in un modello di analisi predittiva. Tuttavia, la trasformazione all'ingrosso dei dati non strutturati potrebbe dover attendere che il modello di analisi predittiva sia in funzione e in esecuzione.
Il data mining e l'analisi del testo sono due approcci per strutturare i documenti di testo, collegare i loro contenuti, raggruppare e riepilogare i loro dati e scoprire modelli in quei dati. Entrambe le discipline forniscono un ricco quadro di algoritmi e tecniche per estrarre il testo sparsi in un mare di documenti.
Vale anche la pena notare che le piattaforme dei motori di ricerca forniscono strumenti prontamente disponibili per l'indicizzazione dei dati e per renderli ricercabili.
Confrontiamo i dati strutturati e non strutturati.
| Caratteristiche | Strutturato | Non strutturato |
|---|---|---|
| Associazione | Organizzato | Disperso e disperso |
| Aspetto | Formalmente definito | Forma libera |
| Accessibilità | Facile da accesso e query | Difficile accesso e query |
| Disponibilità | Percentuale inferiore | Percentuale più alta |
| Analisi | Efficiente per analizzare | È necessaria una pre-elaborazione aggiuntiva |
I dati non strutturati non sono completamente mancanza di struttura - devi solo scovarlo. Persino il testo all'interno dei file digitali ha ancora qualche struttura ad esso associata, spesso visualizzata nei metadati - ad esempio, titoli di documenti, date dell'ultima modifica dei file e nomi dei loro autori.
La stessa cosa vale per le e-mail: i contenuti possono essere non strutturati, ma i dati strutturati sono associati ad essi - ad esempio, la data e l'ora di invio, i nomi dei mittenti e dei destinatari, sia che contengano allegati.
La linea di separazione tra i due tipi di dati non è sempre chiara. In generale, puoi sempre trovare alcuni attributi di dati non strutturati che possono essere considerati dati strutturati. Non è chiaro se tale struttura rifletta il contenuto di tali dati o sia utile nell'analisi dei dati.
Per questo, i dati strutturati possono contenere dati non strutturati al suo interno. In un modulo Web, ad esempio, agli utenti potrebbe essere chiesto di fornire un feedback su un prodotto scegliendo una risposta da più scelte, ma anche di presentare una casella di commento in cui possono fornire un feedback aggiuntivo.
Le risposte da più scelte sono strutturate; il campo dei commenti non è strutturato a causa della sua natura di forma libera. Tali casi sono meglio compresi come un mix di dati strutturati e non strutturati. La maggior parte dei dati è composta da entrambi.
Per un progetto di analisi predittiva di successo, sia i dati strutturati che quelli non strutturati devono essere combinati in un formato logico che possa essere analizzato.
