Setacciare i dati necessari - dummies

Quando si esegue il data mining, a volte si avranno più dati di quelli necessari per un determinato progetto. Ecco come ridimensionare ciò di cui hai bisogno.

Limitazione dei campi

Quando si hanno molte variabili in un set di dati, può essere difficile trovare o vedere quelle che ti interessano. E se i tuoi set di dati sono grandi e non hai bisogno di tutte le variabili, mantenere gli extra assorbe risorse inutilmente. Quindi, a volte è necessario mantenere alcune variabili e rilasciarne altre. La figura mostra un esempio in KNIME, in cui lo strumento corretto è chiamato Filtro colonna.

Un esempio di impostazione per questo strumento è mostrato nella figura seguente.

Per restringere i campi, cercare uno strumento di selezione delle variabili nell'applicazione di data mining; questi si trovano con altri strumenti per la manipolazione dei dati. Come con altri strumenti di data mining, i nomi variano da prodotto a prodotto. Cerca varianti sulle parole colonna, variabile, o campo, e selezione o filtro.

Selezione dei casi rilevanti

I casi con dati incompleti possono essere filtrati prima di costruire il modello. La rimozione di casi incompleti è un esempio comune di selezione dei dati o di filtri.

Ma come selezioneresti solo i casi rilevanti per ogni segmento che ti interessa? Dovresti usare uno strumento di selezione dei dati.

La seguente figura mostra uno strumento di selezione dei dati in un'altra applicazione di data mining.

La figura seguente mostra come impostare lo strumento per un altro tipo di selezione, questa basata sul valore di una variabile.

È comune utilizzare questo tipo di selezione dei dati, e alcune applicazioni forniscono tutti i tipi di funzioni integrate per aiutarti a definire esattamente i casi che desideri. Questo ha alcune caratteristiche eccezionali; visualizza statistiche riassuntive per la variabile e indica esattamente quanti casi soddisfano i criteri di selezione.

La maggior parte delle applicazioni di data mining hanno strumenti per selezionare solo i casi che ti servono. Cerca nei menu (o cerca) per seleziona o filtro.

Campionamento

Un concetto popolare in questi giorni è che più dati sono dati migliori. Questa non è una nuova idea. Le applicazioni di data mining sono sempre state sviluppate per funzionare con grandi quantità di dati. Anche il nome "data mining" suggerisce grandi quantità. Ma spesso, lavorare con un campione di dati ti darà informazioni che sono altrettanto utili, semplificano il tuo lavoro e risparmiano tempo e risorse.

Il campionamento svolge un ruolo importante nel data mining. Se i dati sono bilanciati, significa che il modello ha utilizzato un numero uguale di casi in ciascuno dei gruppi confrontati (in questo esempio, i gruppi erano proprietà che hanno cambiato le mani e proprietà che non lo erano), anche se un gruppo aveva molti più casi rispetto al altro nei dati originali.

Successivamente, i dati sono stati suddivisi, separati in un sottoinsieme da utilizzare per la formazione di un modello e un altro per il test. Usare solo un campione di dati in un grafico di coordinate parallele può rendere più semplice la visualizzazione e l'interpretazione. (I grafici a dispersione con migliaia di punti possono essere incredibilmente difficili da leggere!) Forse il più importante di tutti, il campionamento riduce la quantità di dati, quindi le cose girano più velocemente.