10 Errori di data mining comuni (che non farai) - dummies

Il data mining viene eseguito per tentativi ed errori, e quindi, per i data miner, fare errori è naturale. Gli errori possono essere preziosi, in altre parole, almeno in determinate condizioni. Tuttavia, non tutti gli errori sono uguali. Alcuni sono semplicemente meglio evitati. Il seguente elenco offre dieci errori di questo tipo. Se li leggi attentamente, e li impegna a memoria, potresti semplicemente evitare alcuni sobbalzi sulla curva di apprendimento:

• Ignora i controlli di qualità dei dati: La maggior parte dei minatori di dati ritiene che lo sviluppo di modelli predittivi sia più divertente della revisione dei dati per problemi di qualità. Ma se non riesci a rilevare e correggere i problemi di qualità dei dati, potresti finire con previsioni senza valore.

• Manca il punto: Hai scoperto qualcosa di affascinante! È bello, ma se non è rilevante anche per il problema di business che hai deciso di risolvere, beh, non è affatto rilevante. Tornare in pista.

• Ritenendo che uno schema nei dati dimostri una relazione causa-effetto: Si esplora un set di dati e si noti che quando la variabile A aumenta, anche la variabile B aumenta. Ciò potrebbe verificarsi perché la variabile A influenza la variabile B, o perché la variabile B influenza la variabile A. D'altra parte, potrebbe essere che entrambi siano influenzati da qualche altra variabile che non hai considerato. O potrebbe essere una coincidenza una tantum. Chi puo 'dirlo?

• Estendiamo le conclusioni troppo lontano: Non presumere che le relazioni che osservate nei dati si ripresentino in circostanze diverse. Se i tuoi dati sono stati raccolti in un ambiente fresco, non dare per scontato che le cose funzioneranno allo stesso modo in un ambiente di produzione caldo.

• Scommettere su risultati che non hanno senso: I metodi di data mining sono informali e di solito non supportati da metodi e teorie scientifiche, quindi i risultati ottenuti avrebbero avuto almeno un senso dal punto di vista economico. Se non c'è una spiegazione di buon senso per i risultati che presenti, la tua gestione esecutiva probabilmente non prenderà sul serio, e non dovrebbero.

• Innamorarsi di un particolare metodo di modellazione: Non esiste un singolo tipo di modello di data mining adatto a ogni situazione.

• Mettere in produzione un modello senza test adeguati: Non scommettere la tua azienda su un modello predittivo finché non lo hai testato con dati di holdout e su scala ridotta sul campo.

• Ignorare i risultati che non ti piacciono: Se ignori i tuoi dati ora, tornerà un giorno e dirà: "Te l'avevo detto. "

• Utilizzo del data mining per soddisfare ogni esigenza di analisi dei dati: Il data mining ha un valore eccezionale, tuttavia alcune applicazioni richiedono ancora metodi rigorosi di raccolta dei dati, analisi statistica formale e metodo scientifico.

• Supponendo che le tradizionali tecniche di analisi dei dati non contengano più: Fare riferimento al punto precedente.