Come preparare i dati per un modello di analisi predittiva - dummies

Quando hai definito gli obiettivi del modello per l'analisi predittiva, il passo successivo è identificare e preparare i dati che utilizzerai per costruire il tuo modello. La sequenza generale di passaggi è la seguente:

1. Identifica le tue origini dati.

   I dati potrebbero essere in diversi formati o risiedere in varie posizioni.

2. Identifica come accederai a quei dati.

   A volte, è necessario acquisire dati di terze parti o dati di proprietà di una divisione diversa nella propria organizzazione, ecc.

3. Considera quali variabili includere nella tua analisi.

   Un approccio standard prevede di iniziare con una vasta gamma di variabili ed eliminare quelle che non offrono valori predittivi per il modello.

4. Determina se utilizzare le variabili derivate.

   In molti casi, una variabile derivata (come il rapporto prezzo / guadagno utilizzato per analizzare i prezzi delle azioni) avrebbe un impatto diretto maggiore sul modello rispetto alla variabile grezza.

5. Esplora la qualità dei tuoi dati, cercando di capire sia il suo stato che i suoi limiti.

   La precisione delle previsioni del modello è direttamente correlata alle variabili selezionate e alla qualità dei dati. A questo punto, vorrai rispondere ad alcune domande specifiche:

   • I dati sono completi?

   • Ha qualche outlier?

   • I dati necessitano di pulizia?

   • Hai bisogno di inserire i valori mancanti, tenerli così come sono o eliminarli del tutto?

La comprensione dei dati e delle sue proprietà può aiutarti a scegliere l'algoritmo che sarà più utile nella costruzione del tuo modello. Ad esempio:

• Gli algoritmi di regressione possono essere utilizzati per analizzare i dati delle serie temporali.

• Gli algoritmi di classificazione possono essere utilizzati per analizzare dati discreti.

• Gli algoritmi di associazione possono essere utilizzati per dati con attributi correlati.

Il set di dati utilizzato per addestrare e testare il modello deve contenere informazioni aziendali pertinenti per rispondere al problema che si sta tentando di risolvere. Se il tuo obiettivo è (ad esempio) per determinare quale cliente è probabile che abbandoni, allora il set di dati che scegli deve contenere informazioni sui clienti che hanno agitato in passato oltre ai clienti che non lo hanno fatto.

Alcuni modelli creati per estrarre dati e dare un senso alle sue relazioni sottostanti - ad esempio, quelli costruiti con algoritmi di clustering - non hanno bisogno di avere un particolare risultato finale in mente.

Due problemi sorgono quando si hanno a che fare con i dati mentre si sta costruendo il modello: underfitting e overfitting.

Underfitting

Underfitting è quando il tuo modello non è in grado di rilevare alcuna relazione nei tuoi dati.Questo di solito indica che le variabili essenziali - quelle con potere predittivo - non sono state incluse nella tua analisi. Ad esempio, un'analisi delle scorte che include solo i dati provenienti da un mercato rialzista (dove i prezzi generali delle azioni stanno salendo) non tiene conto di crisi o bolle che possono apportare correzioni importanti al rendimento complessivo degli stock.

La mancata inclusione di dati che abbracciano i mercati di tori e (quando i prezzi complessivi delle azioni stanno calando) impedisce al modello di produrre la migliore selezione di portafoglio possibile.

Overfitting

Overfitting è quando il modello include dati che non hanno potenza predittiva ma sono specifici solo per il set di dati che si sta analizzando. Rumore - variazioni casuali nel set di dati - possono trovare la sua strada nel modello, in modo tale che l'esecuzione del modello su un set di dati diverso produce un notevole calo nelle prestazioni predittive e accuratezza del modello. La barra laterale di accompagnamento fornisce un esempio.

Se il tuo modello si comporta bene su un set di dati particolare e presenta solo prestazioni inferiori quando lo provi su un set di dati diverso, sospetti un sovradattamento.