Come affrontare i problemi in Predictive Analytics - dummies

La modellistica predittiva sta guadagnando popolarità come strumento per la gestione di molti aspetti del business. Garantire che l'analisi dei dati sia eseguita correttamente aumenterà la fiducia nei modelli utilizzati, che a loro volta possono generare il buy-in necessario per l'analisi predittiva per diventare parte del toolkit standard della propria organizzazione.

Forse questa crescente popolarità deriva dal modo in cui un progetto di analisi predittiva può supportare il processo decisionale creando modelli che descrivono set di dati, scoprire possibili nuovi modelli e tendenze (come indicato dai dati) e prevedere risultati con maggiore affidabilità.

Per raggiungere questo obiettivo, un progetto di analisi predittiva deve fornire un modello che meglio si adatta ai dati selezionando le variabili decisionali in modo corretto ed efficiente. Alcune domande fondamentali devono essere risolte lungo il percorso verso tale obiettivo:

• Quali sono le ipotesi minime e le variabili decisionali che consentono al modello di adattarsi al meglio ai dati?

• Come si confronta il modello in costruzione con altri modelli applicabili?

• Quali sono i criteri migliori per valutare e classificare questo modello?

Ancora una volta, puoi chiamare in aiuto la voce dell'esperienza: gli esperti di conoscenza del dominio possono discutere queste domande, interpretare i risultati che mostrano schemi nascosti nei dati e aiutare a verificare e convalidare l'output del modello.

Come descrivere i limiti del modello di analisi predittiva

Qualsiasi modello analitico predittivo presenta alcune limitazioni basate sugli algoritmi utilizzati e sul set di dati su cui viene eseguito. Dovresti essere consapevole di quei limiti e farli funzionare a tuo vantaggio; quelli relativi agli algoritmi includono

• Se i dati hanno pattern non lineari (non forma una linea)

• Quanto sono altamente correlate le variabili (relazioni statistiche tra caratteristiche)

• Se le variabili sono indipendenti (nessuna relazione tra caratteristiche)

• Indipendentemente dal fatto che l'ambito dei dati di esempio renda il modello più incline al sovradattamento

Per superare i limiti del modello, utilizzare le tecniche di suono cross-validation per testare i modelli. Inizia dividendo i dati in training e test di set di dati ed esegui il modello separatamente su ciascuno di questi set di dati per valutare e valutare le previsioni del modello.

Come testare e valutare il modello di analisi predittiva

Nessun modello può produrre previsioni accurate al 100%; qualsiasi modello ha il potenziale per produrre risultati inaccurati. Stai attento a qualsiasi variazione significativa tra le previsioni prodotte dal tuo modello e i dati osservati, specialmente se le uscite del modello contraddicono il buon senso.Se sembra troppo buono, cattivo o estremo per essere vero, allora probabilmente non è vero (per la realtà, comunque).

Nel processo di valutazione, esaminare attentamente le uscite dei modelli che si stanno testando e confrontarli con le variabili di input. La capacità di previsione del tuo modello dovrebbe rispondere a tutti gli obiettivi aziendali dichiarati che hanno guidato la sua creazione in primo luogo.

Se nell'output del tuo modello emergono errori o pregiudizi, prova a riportarli a

• Validità, affidabilità e stagionalità relativa dei dati

• Ipotesi utilizzati nel modello

• Variabili che sono state incluse o escluse nell'analisi

Lavora con gli utenti aziendali per valutare ogni fase del processo del tuo modello; assicurarsi che le uscite del modello possano essere facilmente interpretate e utilizzate in una situazione aziendale reale. Bilancia l'accuratezza e l'affidabilità del modello con la facilità con cui le uscite del modello possono essere interpretate e utilizzate.

Come evitare modelli di analisi predittiva non scalabili

Quando si crea un modello, tenere sempre a mente la scalabilità. Controllare sempre le prestazioni, la precisione e l'affidabilità del modello a varie scale. Il tuo modello dovrebbe essere in grado di cambiare la sua scala - e aumentare di dimensioni quanto necessario - senza crollare o emettere previsioni sbagliate.

La scalabilità è stata piuttosto una sfida in passato. I modelli predittivi hanno richiesto molto tempo per essere costruiti e gestiti. I set di dati su cui giravano i modelli erano piccoli e i dati erano costosi da raccogliere, archiviare e cercare. Ma era tutto nell'era dei "pre-big data".

Oggi i big data sono economici, abbondanti e in crescita. Di fatto, un altro potenziale problema incombe: il formidabile volume di dati attualmente disponibile può influire negativamente sul modello e degradarne le prestazioni, superando il modello in un periodo di tempo relativamente breve. Se correttamente implementata, la scalabilità può aiutare a "rendere a prova di futuro" il tuo modello.

Il futuro non è l'unica minaccia. Anche nell'era online attuale, i dati in streaming possono sopraffare un modello, specialmente se i flussi di dati aumentano fino a un flusso.

Il volume dei dati da solo può causare l'aumento delle variabili decisionali e dei fattori predittivi a numeri giganti che richiedono un aggiornamento continuo del modello. Quindi sì, il tuo modello sarebbe stato meglio scalabile - rapidamente scalabile.