Fase 3 del modello di processo CRISP-DM: preparazione dati - manichini

I minatori di dati trascorrono la maggior parte del loro tempo nella terza fase del modello di processo Cross-Industry Standard Process for Data Mining (CRISP-DM): preparazione dei dati. La maggior parte dei dati utilizzati per il data mining è stata originariamente raccolta e conservata per altri scopi e necessita di alcuni perfezionamenti prima che sia pronta per l'uso per la modellazione.

La fase di preparazione dei dati comprende cinque attività . Questi sono

• Selezione dei dati

• Pulizia dei dati

• Costruzione dei dati

• Integrazione dei dati

• Formattazione dei dati

La guida passo passo di CRISP-DM non menziona esplicitamente i set di dati come deliverable per ciascuno dei attività di preparazione dei dati, ma quei set di dati si erano rivelati molto migliori e sarebbero stati archiviati e documentati correttamente. I dataset non corrisponderanno uno a uno con le attività, ma le informazioni sui dati utilizzati dovrebbero essere incluse in ogni rapporto consegnabile.

Operazione: selezione dei dati

Ora deciderete quale parte dei dati che avete effettivamente verrà utilizzata per il data mining.

Il deliverable per questa attività è la motivazione per l'inclusione e l'esclusione. In esso spiegherete quali dati saranno e non saranno utilizzati per ulteriori lavori di data mining.

Spiegherete i motivi per includere o escludere ogni parte dei dati che avete, in base alla rilevanza per i vostri obiettivi, alla qualità dei dati e ai problemi tecnici, come i limiti al numero di campi o righe che i vostri strumenti possono gestire, o l'idoneità dei formati di dati per le vostre esigenze.

Attività: pulizia dei dati

È improbabile che i dati che si è scelto di utilizzare siano perfettamente puliti (senza errori). Apporterai delle modifiche, magari rintracciando le fonti per apportare correzioni specifiche dei dati, escludendo alcuni casi o singole celle (elementi di dati), o sostituendo alcune voci di dati con valori predefiniti o sostituzioni selezionate con una tecnica di modellazione più sofisticata. È possibile scegliere di utilizzare solo sottoinsiemi di dati per tutto o parte del lavoro di data mining.

Il deliverable per questa attività è il rapporto di pulizia dei dati, che documenta, in modo straziante, ogni decisione e azione utilizzata per pulire i dati. Questo rapporto dovrebbe coprire e fare riferimento a ciascun problema di qualità dei dati identificato nel compito di verifica della qualità dei dati nella fase di comprensione dei dati del processo. La segnalazione deve anche affrontare il potenziale impatto sui risultati delle scelte effettuate durante la pulizia dei dati.

Attività: Costruzione di dati

Potrebbe essere necessario ricavare alcuni nuovi campi (ad esempio, utilizzare la data di consegna e la data in cui un cliente ha effettuato un ordine per calcolare quanto tempo il cliente ha aspettato per ricevere un ordine), dati aggregati o altrimenti creare una nuova forma di dati.

I risultati per questa attività includono due rapporti:

• Attributi derivati: Un rapporto che descrive quali nuovi campi (colonne) hai costruito, come lo hai fatto e perché.

• Record generati: Un rapporto che descrive quali nuovi casi (righe) hai costruito, come lo hai fatto e perché.

Sebbene i compiti di unione dati e formato siano elencati per ultimi in questa fase del processo, non sempre vengono pubblicati per ultimi e potrebbero non venire visualizzati una sola volta. Potrebbe essere necessario unire o riformattare in anticipo nella fase di preparazione dei dati.

Attività: integrazione dei dati

I tuoi dati potrebbero ora essere in più dataset diversi. Dovrai unire tutti o alcuni di questi set di dati disparati per prepararti alla fase di modellazione.

Il deliverable per questa attività sono i dati uniti. (E non sarebbe male documentare come è stata eseguita l'unione.)

Attività: Formattare i dati

I dati vengono spesso in formati diversi da quelli più convenienti per la modellazione. (I cambiamenti di formato sono generalmente guidati dal design dei tuoi strumenti.) Quindi converti questi formati ora.

Il deliverable per questa attività sono i dati riformattati. (E una piccola relazione che descrive le modifiche apportate sarebbe una cosa intelligente da includere).

Si dovrebbe terminare la fase di preparazione dei dati del processo di data mining con un set di dati pronto per la modellazione e un rapporto completo che descrive il set di dati.