Guardando le basi delle statistiche, l'apprendimento automatico e i metodi matematici nella scienza dei dati - Instructions for Dummies

Parte di Data Science For Dummies Cheat Sheet > Se le statistiche sono state descritte come la scienza di ricavare intuizioni dai dati, allora qual è la differenza tra uno statistico e uno scienziato di dati? Buona domanda! Mentre molti compiti nella scienza dei dati richiedono un bel po 'di know how statistico, la portata e l'ampiezza della conoscenza e della base di competenze di uno scienziato di dati sono distinte da quelle di uno statistico. Le principali distinzioni sono descritte di seguito.

Competenza in materia:

• Una delle caratteristiche principali degli scienziati di dati è che offrono un sofisticato livello di competenza nell'area in cui applicano i loro metodi analitici. Gli scienziati dei dati hanno bisogno di questo in modo che siano in grado di comprendere veramente le implicazioni e le applicazioni delle informazioni di dati che generano. Uno scienziato dei dati dovrebbe avere sufficiente esperienza in materia per essere in grado di identificare il significato delle loro scoperte e decidere autonomamente come procedere nell'analisi.

  Al contrario, gli statistici di solito hanno una conoscenza incredibilmente profonda delle statistiche, ma pochissime competenze in materia a cui applicano metodi statistici. Nella maggior parte dei casi, gli esperti di statistica sono tenuti a consultarsi con esperti esterni per ottenere una solida comprensione del significato delle loro scoperte e per essere in grado di decidere il modo migliore per andare avanti in un'analisi.
  Approcci matematici e di apprendimento automatico:

• Gli statistici si basano principalmente su metodi e processi statistici quando ricavano informazioni dai dati. Al contrario, gli scienziati dei dati devono estrarre da una vasta gamma di tecniche per ricavare informazioni dettagliate. Questi includono metodi statistici, ma includono anche approcci che non sono basati su statistiche - come quelli trovati in matematica, clustering, classificazione e approcci di apprendimento automatico non statistico. Vedendo l'importanza del know-how statistico

Non è necessario uscire e ottenere una laurea in statistica per praticare la scienza dei dati, ma almeno si dovrebbe familiarizzare con alcuni dei metodi più fondamentali che vengono utilizzati nell'analisi statistica dei dati. Questi includono:

Regressione lineare

• : la regressione lineare è utile per modellare le relazioni tra una variabile dipendente e una o più variabili indipendenti. Lo scopo della regressione lineare è scoprire (e quantificare la forza di) importanti correlazioni tra variabili dipendenti e indipendenti. Analisi delle serie temporali:

• L'analisi delle serie temporali prevede l'analisi di una raccolta di dati sui valori degli attributi nel tempo, al fine di prevedere le istanze future della misura sulla base dei dati osservativi passati. Simulazioni Monte Carlo:

• Il metodo Monte Carlo è una tecnica di simulazione che è possibile utilizzare per testare ipotesi, generare stime di parametri, prevedere gli esiti dello scenario e convalidare modelli. Il metodo è potente perché può essere utilizzato per simulare molto rapidamente ovunque da 1 a 10, 000 (o più) campioni di simulazione per qualsiasi processo che si sta tentando di valutare. Statistiche per i dati spaziali:

• Una proprietà fondamentale e fondamentale dei dati spaziali è che non è casuale. È dipendente spazialmente e autocorrelato. Quando si modellano i dati spaziali, evitare i metodi statistici che presuppongono che i dati siano casuali. Kriging e krige sono due metodi statistici che puoi usare per modellare i dati spaziali. Questi metodi consentono di produrre superfici predittive per intere aree di studio basate su insiemi di punti noti nello spazio geografico. Lavorare con i metodi di clustering, classificazione e machine learning

L'apprendimento automatico è l'applicazione di algoritmi computazionali per imparare da (o dedurre pattern in) set di dati grezzi.

Il clustering è un particolare tipo di apprendimento automatico - non controllato apprendimento automatico, per essere precisi, il che significa che gli algoritmi devono imparare dai dati senza etichetta e, in quanto tali, devono utilizzare metodi inferenziali per scoprire correlazioni. La classificazione, d'altra parte, si chiama apprendimento macchina supervisionato, il che significa che gli algoritmi apprendono dai dati etichettati. Le seguenti descrizioni introducono alcuni dei più basilari approcci di clustering e classificazione: k-means clustering:

• Generalmente si utilizzano algoritmi k-means per suddividere i punti dati di un set di dati in cluster basati sui valori medi più vicini. Per determinare la divisione ottimale dei punti dati in cluster, in modo tale che la distanza tra i punti in ciascun cluster sia ridotta al minimo, è possibile utilizzare il clustering di k-means. Algoritmi adiacenti più vicini:

• Lo scopo di un'analisi di vicinato più vicino è cercare e localizzare un punto nello spazio o un valore numerico più vicino, a seconda dell'attributo che si utilizza come base di confronto. Stima della densità del kernel:

• Un modo alternativo per identificare i cluster nei dati consiste nell'utilizzare una funzione di livellamento della densità. La stima della densità del kernel (KDE) funziona posizionando un kernel una funzione di ponderazione utile per quantificare la densità - su ogni punto di dati nel set di dati, quindi sommando i kernel per generare una stima della densità del kernel per l'intero regione. Mantenere metodi matematici nel mix

Viene detto molto sul valore delle statistiche nella pratica della scienza dei dati, ma i metodi matematici applicati vengono raramente menzionati. Per essere sinceri, la matematica è la base di tutte le analisi quantitative. La sua importanza non dovrebbe essere sottovalutata. I due seguenti metodi matematici sono particolarmente utili nella scienza dei dati.

Decisione multi-criterio (MCDM):

• MCDM è un approccio di modellizzazione decisionale matematico che puoi utilizzare quando hai diversi criteri o alternative che devi valutare contemporaneamente quando prendi una decisione. Catene di Markov

• : Una catena di Markov è un metodo matematico che concatena una serie di variabili generate casualmente che rappresentano lo stato presente al fine di modellare come i cambiamenti nelle variabili dello stato attuale influenzano gli stati futuri.