Come utilizzare il livellamento dei dati in Predictive Analytics - dummies

L'arrotondamento dei dati nell'analisi predittiva è, in sostanza, cercando di trovare il "segnale" nel "disturbo" di scartando i punti dati considerati "rumorosi". L'idea è di affinare gli schemi nei dati e evidenziare le tendenze a cui i dati stanno puntando.

L'implicazione alla base del livellamento dei dati consiste nel fatto che i dati sono costituiti da due parti: una parte (costituita dai punti di dati fondamentali ) che indica tendenze generali o tendenze reali e un'altra parte costituita principalmente da deviazioni ( rumore ) - alcuni punti fluttuanti che derivano da una certa volatilità nei dati. Il livellamento dei dati cerca di eliminare quella seconda parte.

Come ridurre il rumore

Il livellamento dei dati funziona su diverse ipotesi:

• La fluttuazione dei dati è più probabile che sia il rumore.

• Che la parte rumorosa dei dati sia di breve durata.

• Che le fluttuazioni dei dati, indipendentemente dalla loro variabilità, non influenzeranno le tendenze sottostanti rappresentate dai punti dati principali.

Il rumore nei dati tende a essere casuale; le sue fluttuazioni non dovrebbero influenzare le tendenze generali tratte dall'esame del resto dei dati. Pertanto, la riduzione o l'eliminazione di punti dati rumorosi può chiarire le tendenze e i modelli reali nei dati, migliorando in effetti il ​​rapporto segnale-rumore dei dati. “

A condizione di aver identificato correttamente il rumore e di averlo ridotto, il livellamento dei dati può aiutare a prevedere il prossimo punto di osservazione osservato semplicemente seguendo le principali tendenze rilevate all'interno dei dati.

Il livellamento dei dati riguarda la maggior parte dei punti di dati, le loro posizioni in un grafico e quali sono i modelli risultanti che predicono sull'andamento generale di (diciamo) un prezzo azionario, sia che la sua direzione generale sia su, giù o lateralmente.

Questa tecnica non prevede con precisione il prezzo esatto del prossimo scambio per un determinato titolo, ma la previsione di una tendenza generale può fornire intuizioni più potenti rispetto al conoscere il prezzo effettivo o le sue fluttuazioni.

Una previsione basata su una tendenza generale dedotta da dati attenuati presuppone che qualunque direzione i dati abbiano seguito fino ad ora continueranno nel futuro in modo coerente con la tendenza. Nel mercato azionario, ad esempio, le performance passate non sono indicative delle prestazioni future, ma certamente possono essere una guida generale per il movimento futuro del prezzo delle azioni.

Metodi, vantaggi e svantaggi della levigatura dei dati

Il livellamento dei dati non deve essere confuso con adattando un modello, che fa parte dell'analisi dei dati composta da due passaggi:

1. Trova un modello adatto modello che rappresenta i dati.

2. Assicurarsi che il modello si adatti efficacemente ai dati.

Il livellamento dei dati si concentra sulla definizione di una direzione fondamentale per i punti dati principali (1) ignorando eventuali punti dati rumorosi e (2) disegnando una curva più fluida attraverso i punti dati che saltano quelli che si agitano e enfatizza i modelli primari - tendenze - in i dati, non importa quanto sia lento il loro emergere. Di conseguenza, in una serie temporale numerica, il livellamento dei dati serve come una forma di filtraggio.

Il livellamento dei dati può utilizzare uno dei seguenti metodi:

• La passeggiata casuale si basa sull'idea che il prossimo risultato, o punto dati futuro, è una deviazione casuale dall'ultimo punto dati noto o presente.

• La media mobile è una media corrente di periodi consecutivi, equidistanti. Un esempio potrebbe essere il calcolo di una media mobile a 200 giorni di un prezzo azionario.

• Levigatura esponenziale assegna un peso o un'importanza in modo esponenziale maggiore ai punti dati recenti rispetto ai punti dati precedenti.

  • Semplice: Questo metodo dovrebbe essere usato quando i dati delle serie temporali non hanno trend e non hanno stagionalità.

  • Lineare: Questo metodo deve essere utilizzato quando i dati delle serie temporali hanno una linea di tendenza.

  • Stagionale: Questo metodo dovrebbe essere usato quando i dati delle serie temporali non hanno tendenza ma stagionalità.

Ciò che questi metodi di livellamento hanno in comune è che eseguono una sorta di processo di calcolo della media su diversi punti di dati. Tale media dei punti dati adiacenti è il modo essenziale per azzerare tendenze o modelli sottostanti.

I vantaggi del livellamento dei dati sono

• È facile da implementare.

• Aiuta a identificare le tendenze.

• Aiuta ad esporre modelli nei dati.

• Elimina i punti di dati che hai deciso non sono di interesse.

• Aiuta a predire la direzione generale dei prossimi punti di dati osservati.

• Genera bei grafici lisci.

Ma tutto ha un rovescio della medaglia. Gli svantaggi del livellamento dei dati sono

• Possono eliminare i punti dati validi risultanti da eventi estremi.

• Può portare a previsioni imprecise se i dati del test sono solo stagionali e non pienamente rappresentativi della realtà che ha generato i punti dati.

• Potrebbe spostare o inclinare i dati, in particolare i picchi, generando un'immagine distorta di ciò che sta accadendo.

• Potrebbe essere vulnerabile a un'interruzione significativa dei valori anomali all'interno dei dati.

• Potrebbe causare una deviazione maggiore dai dati originali.

Se il livellamento dei dati non fa altro che dare ai dati un semplice lifting, può disegnare fondamentalmente un errore nei seguenti modi:

• Può introdurre errori attraverso distorsioni che trattano i dati smussati come se fossero identici all'originale dati.

• Può distorcere l'interpretazione ignorando e nascondendo i rischi incorporati nei dati.

• Può causare una perdita di dettagli all'interno dei dati, il che è un modo in cui una curva smussata può discostarsi notevolmente da quella dei dati originali.

Quanto seriamente l'uniformità dei dati possa influire sui dati dipende dalla natura dei dati disponibili e da quale tecnica di smoothing è stata implementata su tali dati.Ad esempio, se i dati originali hanno più picchi, il livellamento dei dati porterà a un maggiore spostamento di quei picchi nei grafici levigati - molto probabilmente una distorsione.

Ecco alcuni punti di attenzione da tenere a mente quando ci si avvicina al livellamento dei dati:

• È una buona idea confrontare grafici lisci con grafici non trattati che tracciano i dati originali.

• I punti dati rimossi durante la levigatura dei dati potrebbero non essere disturbi; potrebbero essere validi, veri e propri punti dati che sono il risultato di eventi rari ma reali.

• Il livellamento dei dati può essere utile con moderazione, ma il suo uso eccessivo può portare a una travisamento dei dati.

Applicando il tuo giudizio professionale e la tua esperienza nel campo della conoscenza aziendale, puoi utilizzare efficacemente il livellamento dei dati. Rimuovere il rumore dai tuoi dati - senza influire negativamente sulla precisione e l'utilità dei dati originali - è almeno tanto un'arte quanto una scienza.