Data mining - dummies

La caratteristica distintiva del data mining, rispetto a query, report o persino OLAP, è possibile ottenere informazioni senza dover fare domande specifiche.

Il data mining ha due ruoli principali nella tua missione di business intelligence:

• Il ruolo "Dimmi cosa potrebbe accadere": Il primo ruolo del data mining è predittivo, in cui fondamentalmente dici "Dimmi cosa potrebbe succedere. "Usando la conoscenza nascosta rinchiusa nel tuo data warehouse, le probabilità e la probabilità delle tendenze e degli eventi futuri sono nascosti e presentati a te.

• Il ruolo "Dimmi qualcosa di interessante": Oltre ai possibili eventi ed eventi futuri, il data mining cerca anche di estrarre informazioni interessanti che probabilmente dovresti sapere, come ad esempio relazione insolita tra vendite di due prodotti diversi e come tale relazione varia in base al posizionamento nei negozi al dettaglio.

  Sebbene possano esistere molte di queste interessanti curiosità, quali domande faresti se usassi uno strumento di query o OLAP e come interpreteresti i risultati? Il data mining ti assiste in questo arduo compito di capire quali domande porre facendo gran parte del lavoro per te.

Data mining in specifiche missioni commerciali

Il data mining è particolarmente adatto per questi specifici tipi di missioni commerciali:

• Rilevamento di frodi

• Determinazione dell'efficacia del programma di marketing

• Selezione di chi, da una grande base di clienti o la popolazione generale, si dovrebbe targetizzare come parte di un programma di marketing

• Gestione del ciclo di vita del cliente, inclusa la missione di conservazione del cliente

• Esecuzione di modelli avanzati di processi di business e scenari ipotetici

Pensa a cosa c'è dietro ognuna delle missioni aziendali dell'elenco precedente:

• Una grande quantità di dati

• Un numero ancora maggiore numero di combinazioni di vari pezzi di dati

• Analisi di set di risultati intensivi, solitamente con algoritmi complessi e tecniche statistiche avanzate

Ora, pensa a cosa avresti dovuto fare se stavi utilizzando uno strumento di reporting o OLAP per realizzare queste missioni. Troverai praticamente impossibile eseguire accuratamente una qualsiasi delle missioni precedenti se dovessi fare una domanda e ottenere un risultato, fare un'altra domanda e ottenere un altro risultato, e poi continuare a ripetere quei passaggi.

Data mining e intelligenza artificiale

Se sei nel campo dell'information technology (IT) da almeno un decennio, alcuni dei termini precedenti potrebbero sembrare vagamente familiari.Sbloccare la conoscenza nascosta? Funzionalità predittiva? Aspetta un attimo: questa è l'intelligenza artificiale!

Fin dai primi giorni del computing commerciale, c'è stato un enorme interesse nello sviluppo di "macchine pensanti" in grado di elaborare grandi quantità di dati e prendere decisioni basate su tale analisi.

L'interesse per l'intelligenza artificiale (AI) raggiunse lo zenit a metà degli anni '80. A quel tempo, i fornitori di database lavoravano alla produzione di sistemi di gestione della base di conoscenza (KBMS); altri vendor uscirono con shell di sistema esperti, o framework di sviluppo di applicazioni basati su AI che usavano tecniche come forward-chaining e backward-chaining per informare gli utenti sulle decisioni; e le reti neurali erano posizionate come il prossimo grande sviluppo di intelligenza artificiale.

L'interesse per l'AI è diminuito nei primi anni '90, quando le aspettative hanno superato le capacità disponibili e altre frenetiche, come la migrazione client / server e (ovviamente) il data warehousing, sono state al centro dell'attenzione.

Ora, AI è tornato!

La tecnica AI di profilo più alto utilizzata nel data mining è reti neurali. Le reti neurali erano originariamente concepite come un modello di elaborazione che imitava il modo in cui il cervello umano risolve i problemi, utilizzando i neuroni e l'elaborazione altamente parallela per risolvere schemi.

Applicando algoritmi di reti neurali alle aree della business intelligence che le maniglie di data mining (sempre, predittive e "dirmi qualcosa di interessante" missioni) sembra essere una corrispondenza naturale.

Anche se il gioco di data mining / rete neurale merita sicuramente di essere controllato, dovresti farlo con attenzione. È possibile trovare molte tecnologie interessanti ed eccitanti che, nelle mani di coloro che non comprendono gli algoritmi, probabilmente falliranno.

Tuttavia, con un'adeguata conoscenza e formazione, è possibile assumere un impegno su vasta scala per portare questo tipo di elaborazione nel proprio framework di business intelligence come accoppiamento tecnico-analitico per l'analisi aziendale focalizzata su OLAP.

Data mining e statistiche

L'area più matura del data mining è l'applicazione di tecniche statistiche avanzate contro i grandi volumi di dati nel vostro data warehouse. Diversi strumenti utilizzano diversi tipi di tecniche statistiche, adattate alle particolari aree che stanno cercando di affrontare.

Senza uno sfondo statistico, potresti trovare confusione nel trasferimento di dati. È necessario svolgere molto lavoro per addestrare gli algoritmi e creare regole per garantire risultati corretti con set di dati più grandi. Tuttavia, supponendo che tu sia a tuo agio con questo concetto, o abbia un collega che può aiutarti, ecco alcuni degli algoritmi più ampiamente sfruttati:

• Algoritmi di classificazione: Prevedi una o più variabili discrete, basate sull'altra attributi nel set di dati. Utilizzando gli algoritmi di classificazione, lo strumento di data mining può esaminare grandi quantità di dati e quindi informarti che, ad esempio, "I clienti che sono conservati attraverso almeno due generazioni di acquisti di prodotti tendono ad avere queste caratteristiche: hanno un reddito di a almeno $ 75.000 e possiedono le loro case."

• Algoritmi di regressione: Prevedi una o più variabili continue, come profitti o perdite, in base ad altri attributi nel set di dati. Gli algoritmi di regressione sono guidati attraverso le informazioni storiche presentate allo strumento di data mining "nel tempo", meglio noto come informazioni sulla serie storica .

• Algoritmi di segmentazione: Dividere i dati in gruppi o cluster di elementi con proprietà simili.

• Algoritmi di associazione: Trova le correlazioni tra diversi attributi in un set di dati. L'applicazione più comune di questo tipo di algoritmo crea regole di associazione, che è possibile utilizzare in un'analisi del paniere di mercato. Si noti che, ad esempio, se un cliente acquista un particolare pacchetto software, ha una probabilità del 65% di acquistare almeno due pacchetti add-on specifici del prodotto entro due settimane.

• Algoritmi di analisi della sequenza: Riepiloga sequenze o episodi frequenti in dati, come un flusso del percorso web.

Esistono molti altri metodi. Spolvera quel vecchio libro delle statistiche e inizia a leggere.