Video: Azure Security Center | Azure Friday 2024
Anche se hai a disposizione abbastanza esempi per allenare algoritmi di apprendimento automatico sia semplici che complessi, devono presentare valori completi nelle funzionalità, senza eventuali dati mancanti. Avere un esempio incompleto rende impossibile il collegamento di tutti i segnali all'interno e tra le funzioni. Valori mancanti rendono inoltre difficile l'apprendimento dell'algoritmo durante l'allenamento. Devi fare qualcosa per i dati mancanti.
Molto spesso, puoi ignorare i valori mancanti o ripararli indovinando un probabile valore di sostituzione. Tuttavia, troppi valori mancanti rendono previsioni più incerte perché le informazioni mancanti potrebbero nascondere qualsiasi figura possibile; di conseguenza, maggiore è il numero di valori mancanti nelle caratteristiche, più le previsioni sono variabili e imprecise.
Come primo passo, conta il numero di casi mancanti in ciascuna variabile. Quando una variabile ha troppi casi mancanti, potrebbe essere necessario rilasciarla dal set di dati di addestramento e test. Una buona regola è quella di eliminare una variabile se manca più del 90 percento delle sue istanze.
Alcuni algoritmi di apprendimento non sanno come gestire i valori mancanti e riportano errori nelle fasi di addestramento e di test, mentre altri modelli li trattano come valori zero, causando una sottostima del valore o della probabilità previsti (è come se parte della formula non funzioni correttamente). Di conseguenza, è necessario sostituire tutti i valori mancanti nella matrice dati con un valore adeguato affinché l'apprendimento automatico avvenga correttamente.
Esistono molte ragioni per la mancanza di dati, ma il punto essenziale è se i dati mancano casualmente o in un ordine specifico. I dati mancanti casuali sono ideali perché puoi indovinare il suo valore utilizzando una media semplice, una mediana o un altro algoritmo di apprendimento automatico, senza troppe preoccupazioni. Alcuni casi contengono un forte pregiudizio verso alcuni tipi di esempi.
Per esempio, pensa al caso di studiare il reddito di una popolazione. Le persone ricche (per ragioni fiscali, presumibilmente) tendono a nascondere il loro vero reddito segnalandoti che non lo sanno. I poveri, d'altra parte, possono dire di non voler denunciare il proprio reddito per timore di un giudizio negativo. Se si perdono le informazioni da alcuni strati della popolazione, riparare i dati mancanti può essere difficile e fuorviante perché si potrebbe pensare che tali casi siano esattamente come gli altri.
Invece, sono piuttosto diversi. Pertanto, non è possibile utilizzare semplicemente valori medi per sostituire i valori mancanti: è necessario utilizzare approcci complessi e regolarli con attenzione.Inoltre, identificare i casi in cui i dati mancanti non sono casuali è difficile perché richiede un'osservazione più approfondita di come i valori mancanti siano associati ad altre variabili nel set di dati.
Quando i dati sono mancanti a caso, è possibile ripristinare facilmente i valori vuoti perché si ottengono suggerimenti per il loro valore reale da altre variabili. Quando i dati non sono mancanti a caso, non è possibile ottenere buoni suggerimenti dalle altre informazioni disponibili a meno che non si comprenda l'associazione dei dati con il caso mancante.
Pertanto, se devi calcolare il reddito mancante nei tuoi dati, e manca perché la persona è ricca, non puoi sostituire il valore mancante con una media semplice perché la sostituirai con un reddito medio. Invece, dovresti usare una media del reddito delle persone benestanti come sostituto.
Quando i dati non sono mancanti a caso, il fatto che il valore sia mancante è informativo perché aiuta a rintracciare il gruppo mancante. Puoi lasciare il compito di cercare il motivo per cui manca all'algoritmo di apprendimento automatico creando una nuova funzione binaria che segnala quando manca il valore di una variabile. Di conseguenza, l'algoritmo di apprendimento automatico individuerà il miglior valore da utilizzare come sostituto da solo.
