Preparazione dei dati per Predictive Analytics - dummies

Una volta definiti gli obiettivi del modello, il passo successivo nell'analisi predittiva è identificare e preparare i dati che verranno utilizzati per creare il modello. Le seguenti informazioni riguardano le attività più importanti. La sequenza generale di passaggi è la seguente:

1. Identifica le tue origini dati.

   I dati potrebbero essere in diversi formati o risiedere in varie posizioni.

2. Identifica come accederai a quei dati.

   A volte, è necessario acquisire dati di terze parti o dati di proprietà di una divisione diversa nella propria organizzazione, ecc.

3. Considerare quali variabili includere nell'analisi.

   Un approccio standard prevede di iniziare con una vasta gamma di variabili ed eliminare quelle che non offrono alcun valore predittivo per il modello.

4. Determina se utilizzare le variabili derivate.

   In molti casi, una variabile derivata (come il rapporto prezzo / guadagno utilizzato per analizzare i prezzi delle azioni) avrebbe un impatto diretto maggiore sul modello rispetto alla variabile grezza.

5. Esplora la qualità dei tuoi dati, cercando di capire sia il suo stato che i suoi limiti.

   La precisione delle previsioni del modello è direttamente correlata alle variabili selezionate e alla qualità dei dati. A questo punto, vorrai rispondere ad alcune domande specifiche:

   • I dati sono completi?
   • Ha qualche outlier?
   • I dati necessitano di pulizia?
   • Hai bisogno di inserire valori mancanti, tenerli così come sono o eliminarli del tutto?

La comprensione dei dati e delle sue proprietà può aiutarti a scegliere l'algoritmo che sarà più utile nella costruzione del tuo modello. Ad esempio:

• Gli algoritmi di regressione possono essere utilizzati per analizzare i dati delle serie temporali.
• Gli algoritmi di classificazione possono essere utilizzati per analizzare dati discreti.
• Gli algoritmi di associazione possono essere utilizzati per dati con attributi correlati.

Gli algoritmi individuali e le tecniche predittive hanno diverse debolezze e punti di forza. Più importante, l'accuratezza del modello si basa sull'avere sia una grande quantità sia una qualità dei dati. I tuoi dati dovrebbero avere un numero sufficiente di record per fornire risultati statisticamente significativi.

La raccolta di dati rilevanti (preferibilmente molti record per un lungo periodo di tempo), la pre-elaborazione e l'estrazione delle funzionalità con la maggior parte dei valori predittivi sarà dove trascorrerai la maggior parte del tuo tempo. Ma devi ancora scegliere saggiamente l'algoritmo, un algoritmo che dovrebbe essere adatto al problema aziendale.

La preparazione dei dati è specifica del progetto su cui stai lavorando e dell'algoritmo che scegli di utilizzare.A seconda dei requisiti del progetto, preparerai i tuoi dati di conseguenza e li trasmetteranno all'algoritmo mentre costruisci il tuo modello per soddisfare le esigenze aziendali.

Il set di dati utilizzato per addestrare e testare il modello deve contenere informazioni aziendali pertinenti per rispondere al problema che si sta tentando di risolvere. Se il tuo obiettivo è (ad esempio) per determinare quale cliente è probabile che abbandoni, allora il set di dati che scegli deve contenere informazioni sui clienti che hanno agitato in passato oltre ai clienti che non lo hanno fatto.

Alcuni modelli creati per estrarre dati e dare un senso alle sue relazioni sottostanti - ad esempio, quelli costruiti con algoritmi di clustering - non hanno bisogno di avere un particolare risultato finale in mente.

Underfitting

Underfitting è quando il tuo modello non è in grado di rilevare alcuna relazione nei tuoi dati. Questo di solito indica che le variabili essenziali - quelle con potere predittivo - non sono state incluse nella tua analisi.

Se le variabili utilizzate nel modello non hanno un elevato potere predittivo, provare ad aggiungere nuove variabili specifiche del dominio ed eseguire nuovamente il modello. L'obiettivo finale è migliorare le prestazioni del modello sui dati di allenamento.

Un altro problema da tenere sotto controllo è stagionalità (quando hai un modello stagionale, se non riesci ad analizzare più stagioni potresti metterti nei guai). Ad esempio, un'analisi stock che include solo i dati di un toro il mercato (dove i prezzi complessivi delle azioni stanno salendo) non tiene conto di crisi o bolle che possono apportare importanti correzioni al rendimento complessivo degli stock. La mancata inclusione di dati che abbracciano i mercati di toro e (quando i prezzi complessivi delle azioni stanno calando) impedisce al modello di produrre la migliore selezione di portafoglio possibile.

Overfitting

Overfitting si verifica quando il modello include dati privi di potenza predittiva, ma è specifico solo per il set di dati che si sta analizzando. Rumore - variazioni casuali nel set di dati - possono trovare la sua strada nel modello, in modo tale che l'esecuzione del modello su un set di dati diverso produce un notevole calo nelle prestazioni predittive e accuratezza del modello.