Come preparare i dati per Predictive Analysis - dummies

Quando stai imparando un nuovo linguaggio di programmazione, è consuetudine scrivere il programma "ciao mondo". Per l'apprendimento automatico e l'analisi predittiva, la creazione di un modello per classificare il set di dati Iris è il suo programma equivalente "ciao mondo". Questo è un esempio piuttosto semplice, ma è molto efficace nell'insegnare le basi dell'apprendimento automatico e dell'analisi predittiva.

Come ottenere il set di dati di esempio

Per creare il nostro modello predittivo, è necessario scaricare il set di dati Iris di esempio. Questo set di dati è liberamente disponibile da molte fonti, in particolare nelle istituzioni accademiche che hanno dipartimenti di apprendimento automatico. Fortunatamente, la gente era abbastanza gentile da includere alcuni dataset di esempio e funzioni di caricamento dei dati insieme al loro pacchetto. Per gli scopi di questi esempi, è sufficiente eseguire un paio di semplici righe di codice per caricare i dati.

Come etichettare i tuoi dati

Ecco un'osservazione e le sue caratteristiche da ogni classe del dataset Iris Flower.

Lunghezza sepali	Larghezza segale	Lunghezza del petalo	Larghezza del petalo	Classe / etichetta target
5. 1	3. 5	1. 4	0. 2	Setosa (0)
7. 0	3. 2	4. 7	1. 4	Versicolor (1)
6. 3	3. 3	6. 0	2. 5	Virginica (2)

Il dataset Iris Flower è un dataset multivariato di tre classi del fiore di Iris ( Iris setosa, Iris virginica, e Iris versicolor ) presentato da Ronald Fisher nel suo articolo del 1936, "L'uso di misure multiple in problemi tassonomici. "Questo set di dati è meglio conosciuto per il suo ampio uso nel mondo accademico per l'apprendimento automatico e le statistiche.

Il set di dati comprende 150 istanze totali, con 50 istanze di ciascuna delle 3 classi del fiore di Iris. L'esempio ha 4 caratteristiche (anche comunemente chiamate attributi ), che sono le misure di lunghezza e larghezza dei sepali e dei petali.

La parte interessante di questo set di dati è che le tre classi sono in qualche modo separabili linearmente. La classe Setosa può essere separata dalle altre due classi tracciando una linea retta sul grafico tra di loro. Le classi Virginica e Versicolor non possono essere perfettamente separate utilizzando una linea retta, sebbene sia vicina. Ciò lo rende un set di dati perfetto candidato per fare analisi di classificazione, ma non così buono per l'analisi di clustering.

I dati di esempio erano già etichettati. La colonna di destra (Etichetta) sopra mostra i nomi di ogni classe del fiore di Iris.Il nome della classe è chiamato etichetta o ; di solito è assegnato a una variabile denominata y . È fondamentalmente il risultato o il risultato di ciò che viene previsto.

Nella statistica e nella modellazione, viene spesso indicato come variabile dipendente . Dipende dagli input che corrispondono alla lunghezza e larghezza dei sepali e alla lunghezza e larghezza del petalo.

Si potrebbe anche voler sapere che cosa c'è di diverso sul set di dati Iris preelaborato di scikit, rispetto al dataset originale. Per scoprirlo, è necessario ottenere il file di dati originale. Puoi eseguire una ricerca su Google per set di dati iris e scaricarlo o visualizzarlo da una qualsiasi delle istituzioni accademiche.

Il risultato che emerge di solito è il repository di dati macchina della University of California Irvine (UCI). Il set di dati Iris nel suo stato originale dal repository di apprendimento automatico UCI è disponibile sul sito Web dell'UCI.

Se lo scarichi, dovresti essere in grado di visualizzarlo con qualsiasi editor di testo. Dopo aver visto i dati nel file, noterai che ci sono cinque colonne in ogni riga. Le prime quattro colonne sono le misurazioni (denominate caratteristiche ) e l'ultima colonna è l'etichetta. L'etichetta differisce tra la versione originale e la versione scikit del set di dati Iris.

Un'altra differenza è la prima riga del file di dati. Include una riga di intestazione utilizzata dalla funzione di caricamento dei dati di scikit. Non ha alcun effetto sugli algoritmi stessi.

La normalizzazione delle caratteristiche dei numeri anziché il loro mantenimento come testo facilita l'elaborazione degli algoritmi, ed è molto più efficiente in termini di memoria. Ciò è particolarmente evidente se si eseguono dataset di grandi dimensioni con molte funzionalità, il che è spesso il caso in scenari reali.

Ecco i dati di esempio da entrambi i file. Tutte le colonne di dati sono le stesse tranne Col5. Nota che scikit ha nomi di classi con etichette numeriche; il file originale ha etichette di testo.

Fonte	Col1	Col2	Col3	Col4	Col5
scikit	5. 1	3. 5	1. 4	0. 2	0
originale	5. 1	3. 5	1. 4	0. 2	Iris-setosa
scikit	7. 0	3. 2	4. 7	1. 4	1
originale	7. 0	3. 2	4. 7	1. 4	Iris-versicolor
scikit	6. 3	3. 3	6. 0	2. 5	2
originale	6. 3	3. 3	6. 0	2. 5	Iris-virginica