Fase 4 del modello di processo CRISP-DM: modellazione - dummies

La modellazione è la parte del modello di processo Cross-Industry Standard per il data mining (CRISP-DM) che la maggior parte dei dati i minatori preferiscono I tuoi dati sono già in buone condizioni e ora puoi cercare modelli utili nei tuoi dati.

La fase di modellazione comprende quattro compiti. Questi sono

• Selezione delle tecniche di modellazione

• Esecuzione di test (s)

• Modelli di costruzione

• Valutazione del / i modello / i

Compito: selezione delle tecniche di modellazione

Il meraviglioso mondo del data mining offre una gran quantità di tecniche di modellazione, ma non tutte si adattano alle tue esigenze. Limita l'elenco in base al tipo di variabili coinvolte, alla selezione delle tecniche disponibili nei tuoi strumenti e a tutte le considerazioni di business che sono importanti per te.

Ad esempio, molte organizzazioni preferiscono i metodi con output facilmente interpretabili, quindi gli alberi decisionali o la regressione logistica potrebbero essere accettabili, ma le reti neurali probabilmente non saranno accettate.

I risultati per questa attività includono due rapporti:

• Tecnica di modellazione: Specificare la tecnica (o le tecniche) che si utilizzerà.

• Assunzioni di modellazione: Molte tecniche di modellazione si basano su determinati presupposti. Ad esempio, un tipo di modello può essere inteso per l'uso con dati che hanno uno specifico tipo di distribuzione. Documenta questi presupposti in questo rapporto.

Gli statistici sono ben informati, severi e pignoli sulle ipotesi. Questo non è necessariamente vero per i minatori di dati, e non è un requisito diventare un minatore di dati. Se hai una profonda conoscenza statistica e capisci le ipotesi dietro i modelli che selezioni, puoi essere severo e pignolo sulle ipotesi.

Ma molti minatori di dati, in particolare i minatori di dati inesperti, non si agitano troppo sulle ipotesi. L'alternativa è testare - molti e molti test - dei tuoi modelli.

Attività: progettazione di test

Il test in questa attività è il test che verrà utilizzato per determinare il funzionamento del modello. Potrebbe essere semplice come dividere i dati in un gruppo di casi per l'addestramento del modello e un altro gruppo per il test del modello.

I dati di allenamento vengono utilizzati per adattare i moduli matematici al modello di dati e i dati di test vengono utilizzati durante il processo di addestramento del modello per evitare un overfitting : creare un modello perfetto per un set di dati, ma nessun altro. È inoltre possibile utilizzare dati di holdout, dati che non vengono utilizzati durante il processo di addestramento del modello, per un test aggiuntivo.

Il deliverable per questa attività è il tuo progetto di test. Non è necessario che sia elaborato, ma dovresti almeno fare attenzione che i tuoi dati di addestramento e test siano simili e che tu eviti di introdurre pregiudizi nei dati.

Compito: Costruire i modelli

La modellazione è ciò che molte persone immaginano di essere l'intero lavoro del minatore di dati, ma è solo un compito di dozzine! Ciononostante, la modellazione per indirizzare obiettivi aziendali specifici è il cuore della professione di data mining.

I deliverable per questa attività includono tre voci:

• Impostazioni parametri: Quando si creano i modelli, la maggior parte degli strumenti offre la possibilità di regolare una varietà di impostazioni e queste impostazioni hanno un impatto sulla struttura del modello finale. Documentare queste impostazioni in un report.

• Descrizione del modello: Descrivi i tuoi modelli. Indicare il tipo di modello (come la regressione lineare o la rete neurale) e le variabili utilizzate. Spiega come viene interpretato il modello. Documentare eventuali difficoltà incontrate nel processo di modellazione.

• Modelli: Questo deliverable sono i modelli stessi. Alcuni tipi di modelli possono essere facilmente definiti con una semplice equazione; altri sono troppo complessi e devono essere trasmessi in un formato più sofisticato.

Attività: valutazione dei modelli

Ora esaminerai i modelli che hai creato, da un punto di vista tecnico e anche da un punto di vista aziendale (spesso con il contributo di esperti aziendali del tuo team di progetto).

I risultati per questa attività includono due rapporti:

• Valutazione del modello: Riepiloga le informazioni sviluppate nella revisione del modello. Se sono stati creati diversi modelli, è possibile classificarli in base alla valutazione del loro valore per un'applicazione specifica.

• Impostazioni dei parametri riveduti: È possibile scegliere di ottimizzare le impostazioni utilizzate per creare il modello e condurre un altro ciclo di modellazione e provare a migliorare i risultati.

Il data mining, come una cipolla, una torta Dobos o una roccia sedimentaria, ha molti strati. Quando inizi a utilizzare il data mining, puoi iniziare lasciando le impostazioni dei parametri ai valori predefiniti (in effetti potresti non notare le opzioni a meno che non ti sforzi di cercarle).

Quando ti sentirai a tuo agio nella tua nuova carriera di data mining, avrà senso scoprire i parametri del modello e sapere come utilizzarli. Le opzioni variano ampiamente con il tipo di modello e lo strumento specifico che si sta utilizzando.