Come valutare accuratamente le tue previsioni analitiche - dummies

Quando si analizza la qualità di un modello predittivo, è necessario misurarne l'accuratezza. Quanto più precisa è una previsione del modello, tanto più utile è per l'azienda, che è un'indicazione della sua qualità. Tutto ciò va bene, tranne quando l'evento previsto è raro. In tal caso, l'elevata precisione del modello predittivo potrebbe essere priva di significato.

Ad esempio se la probabilità che si verifichi un evento raro è del 5 percento, un modello che semplicemente risponde & ldquo; no & rdquo; tutto il tempo in cui viene chiesto se l'evento raro si è verificato sarebbe giusto il 95 per cento delle volte. Ma quanto sarebbe utile un tale modello?

Quindi, se la tua azienda deve occuparsi abitualmente di eventi rari (se ciò è possibile), non fare affidamento solo sulla precisione come misura dell'affidabilità del modello.

In tal caso, è possibile valutare l'efficacia e la qualità di un modello predittivo alla luce del grado di probabilità dell'evento raro. Un'utile metrica da seguire è specificare quali tipi di errori è possibile accettare dal modello e quali non è possibile.

Ecco un breve elenco di altri modi per valutare il modello:

• Controllare se l'output del modello soddisfa i criteri di valutazione.

• Definisci una strategia di test in modo da poter testare il tuo modello ripetutamente e coerentemente.

• Misurare quanto bene il modello soddisfa gli obiettivi aziendali per cui è stato costruito.

• Valuta i rischi legati alla distribuzione del modello dal vivo.

Aiuta a eliminare il sovradattamento. Quando si crea un modello predittivo, tenere presente che il set di dati è solo un campione dell'intera popolazione. Ci saranno sempre dei fattori sconosciuti che i tuoi dati non possono giustificare, non importa quale.

• Avvicinati con cautela all'analisi del tuo modello predittivo, iniziando da questo elenco di controllo rapido:

• Prepara i tuoi dati con la massima diligenza prima di utilizzarlo per addestrare il tuo modello.

• Considerare attentamente i valori anomali prima di includerli o escluderli.

• Rimanere vigili in ripetuti test e valutazioni.

• Controllo incrociato dei dati di esempio e dei dati di test per allontanarsi dal sovradattamento.

• Consulta i tuoi esperti di conoscenza del dominio spesso e in modo appropriato.