Nozioni di base dei cluster di dati in Predictive Analysis - dummies

Un set di dati < (o raccolta dati) è un insieme di elementi nell'analisi predittiva. Ad esempio, un set di documenti è un set di dati in cui gli elementi di dati sono documenti. Un insieme di informazioni degli utenti dei social network (nome, età, elenco di amici, foto e così via) è un set di dati in cui gli elementi dei dati sono profili degli utenti dei social network. Il clustering di dati

è il compito di dividere un set di dati in sottoinsiemi di oggetti simili. Gli oggetti possono anche essere indicati come istanze, osservazioni, entità o oggetti dati. Nella maggior parte dei casi, un set di dati viene rappresentato in formato tabella - una matrice di dati . Una matrice di dati è una tabella di numeri, documenti o espressioni, rappresentati in righe e colonne come segue:

Ogni riga corrisponde a un determinato elemento nel set di dati.

• Le righe vengono a volte denominate

  elementi, oggetti, istanze o osservazioni. Ogni colonna rappresenta una caratteristica particolare di un oggetto.

• Le colonne vengono definite come

  caratteristiche o attributi. L'applicazione del clustering di dati a un set di dati genera gruppi di elementi di dati simili. Questi gruppi sono chiamati

cluster - raccolte di dati simili.

Gli articoli simili

hanno una relazione forte e misurabile tra di loro - gli ortaggi freschi, per esempio, sono più simili tra loro rispetto a quelli congelati - e le tecniche di clustering usano quella relazione per raggruppare gli oggetti. La forza di una relazione tra due o più elementi può essere quantificata come misura di similitudine

: Una funzione matematica calcola la correlazione tra due elementi di dati. I risultati di tale calcolo, denominati valori di similarità, essenzialmente confrontano un particolare elemento di dati con tutti gli altri elementi nel set di dati. Questi altri elementi saranno più simili o meno simili rispetto a quell'elemento specifico.

Le somiglianze calcolate svolgono un ruolo importante nell'assegnazione di elementi ai gruppi (

cluster ). Ogni gruppo ha un oggetto che lo rappresenta al meglio; questo elemento è indicato come rappresentante cluster . Considera un set di dati composto da diversi tipi di frutta in un cestino. Il cestino ha frutti di diversi tipi come mele, banane, limoni e pere. In questo caso, i frutti sono gli elementi di dati. Il processo di clustering dei dati estrae gruppi di frutti simili da questo set di dati (cesto di frutti diversi).

Il primo passo in un processo di cluster di dati consiste nel tradurre questo set di dati in una matrice di dati: un modo per modellare questo set di dati è che le righe rappresentino gli elementi nel set di dati (frutti); e le colonne rappresentano caratteristiche o caratteristiche che descrivono gli oggetti.

Ad esempio, una caratteristica di frutta può essere il tipo di frutta (come una banana o una mela), il peso, il colore o il prezzo. In questo set di dati di esempio, gli elementi hanno tre caratteristiche: tipo di frutta, colore e peso.

Nella maggior parte dei casi, l'applicazione di una tecnica di clustering dei dati al dataset di frutta come descritto sopra consente di

Recuperare gruppi (cluster) di elementi simili.

• Puoi dire che il tuo frutto è di N numero di gruppi. Dopodiché, se scegli un frutto a caso, sarai in grado di fare una dichiarazione su quell'elemento come parte di uno dei gruppi N. Recupera i rappresentanti del cluster di ciascun gruppo.

• In questo esempio, un rappresentante del cluster sceglierà un tipo di frutta dal cesto e lo metterà da parte. Le caratteristiche di questo frutto sono tali che la frutta rappresenta al meglio l'ammasso cui appartiene. Una volta terminato il clustering, il set di dati è organizzato e suddiviso in raggruppamenti naturali.

Il clustering dei dati rivela la struttura dei dati estraendo i raggruppamenti naturali da un set di dati. Pertanto, la scoperta dei cluster è un passo essenziale verso la formulazione di idee e ipotesi sulla struttura dei dati e sulla derivazione di intuizioni per comprenderla meglio.

Il clustering dei dati può anche essere un modo per modellare i dati: rappresenta un insieme di dati più ampio da parte di cluster o rappresentanti di cluster.

Inoltre, l'analisi può cercare semplicemente di suddividere i dati in gruppi di articoli simili - come quando

segmentazione di mercato suddivide i dati del mercato di destinazione in gruppi come Consumatori che condividono gli stessi interessi (come la cucina mediterranea)

• Consumatori che hanno esigenze comuni (ad esempio, quelli con specifiche allergie alimentari)

• Identificare cluster di clienti simili può aiutarti a sviluppare una strategia di marketing che affronti le esigenze di specifici cluster.

Inoltre, il clustering dei dati può anche aiutare a identificare, apprendere o prevedere la natura dei nuovi elementi di dati, in particolare in che modo i nuovi dati possono essere collegati con le previsioni. Ad esempio, in

riconoscimento del modello , l'analisi dei modelli nei dati (come l'acquisto di modelli in particolari regioni o gruppi di età) può aiutare a sviluppare l'analisi predittiva, in questo caso, prevedendo la natura degli elementi di dati futuri che possono adattarsi bene con modelli stabiliti. L'esempio del paniere di frutta utilizza il clustering dei dati per distinguere tra diversi dati. Supponiamo che la tua attività riunisca cesti di frutta personalizzati e che venga introdotto sul mercato un nuovo frutto sconosciuto. Vuoi imparare o prevedere a quale gruppo apparterrà il nuovo oggetto se lo aggiungi al cesto di frutta.

Poiché hai già applicato il clustering dei dati al set di dati della frutta, hai quattro cluster, il che rende più facile prevedere quale cluster (tipo specifico di frutta) è appropriato per il nuovo elemento. Tutto quello che devi fare è confrontare il frutto sconosciuto con gli altri quattro rappresentanti dei cluster e identificare quale cluster è la migliore corrispondenza.

Sebbene questo processo possa sembrare ovvio per una persona che lavora con un piccolo set di dati, non è così ovvio su una scala più ampia - quando si devono raggruppare milioni di elementi senza esaminarli singolarmente.La complessità diventa esponenziale quando il set di dati è ampio, diversificato e relativamente incoerente - ecco perché esistono algoritmi di clustering: i computer fanno meglio questo tipo di lavoro.