Casa Finanza personale Valori mancanti nei dati dell'utente - manichini

Valori mancanti nei dati dell'utente - manichini

Sommario:

Video: EM 64 Cerca il valore mancante con Excel Formula matrice e AGGREGA 2025

Video: EM 64 Cerca il valore mancante con Excel Formula matrice e AGGREGA 2025
Anonim

Uno dei problemi di dati più frequenti e laboriosi da affrontare è la mancanza di dati. I file possono essere incompleti perché i record sono stati eliminati o è stato riempito un dispositivo di archiviazione. O alcuni campi di dati potrebbero non contenere dati per alcuni record. Il primo di questi problemi può essere diagnosticato semplicemente verificando il conteggio dei record per i file. Il secondo problema è più difficile da affrontare.

Per dirla in termini semplici, quando trovi un campo contenente valori mancanti, hai due scelte:

  • Ignora.

  • Metti qualcosa nel campo.

Ignorare il problema

In alcuni casi, si può semplicemente trovare un singolo campo con un gran numero di valori mancanti. Se è così, la cosa più semplice da fare è ignorare il campo. Non includerlo nella tua analisi.

Un altro modo per ignorare il problema è ignorare il record. Basta cancellare il record contenente i dati mancanti. Questo può avere senso se ci sono solo pochi record canaglia. Ma se ci sono più campi di dati contenenti un numero significativo di valori mancanti, questo approccio può ridurre il numero di record a un livello inaccettabile.

Un'altra cosa a cui prestare attenzione prima di cancellare semplicemente i record è un segno qualsiasi di un pattern. Ad esempio, si supponga di analizzare un set di dati relativo ai saldi di carte di credito a livello nazionale. Potresti trovare un sacco di dischi che mostrano $ 0. 00 saldi (forse circa la metà dei record). Questo non è di per sé un'indicazione di dati mancanti. Tuttavia, se tutti i record, ad esempio, della California mostrano $ 0. 00 saldi, che indica un potenziale problema di valori mancanti. E non è uno che sarebbe risolto utilmente cancellando tutti i record dal più grande stato del paese. In questo caso, è probabilmente un problema di sistema e indica che dovrebbe essere creato un nuovo file.

In generale, l'eliminazione dei record è una soluzione facile, ma non ideale, ai problemi con valori mancanti. Se il problema è relativamente piccolo e non vi è alcun modello riconoscibile per le omissioni, allora può essere ok per gettare le registrazioni offensive e andare avanti. Ma spesso è giustificato un approccio più intellettuale.

Compilare i dati mancanti

Compilare i dati mancanti equivale a fare un'ipotesi plausibile su cosa sarebbe stato in quel campo. Ci sono buoni e cattivi modi per farlo. Un approccio semplice (ma negativo) è quello di sostituire i valori mancanti con la media di quelli non mancanti. Nei campi non numerici, potresti essere tentato di popolare i record mancanti con il valore più comune negli altri record (la modalità).

Questi approcci sono, purtroppo, ancora frequentemente utilizzati in alcune applicazioni aziendali.Ma sono considerati dagli statistici come idee sbagliate. Per prima cosa, l'intero punto di fare analisi statistiche è quello di trovare dati che differenziano un risultato da un altro. Sostituendo tutti i record mancanti con lo stesso valore, non hai differenziato nulla.

L'approccio più intellettuale è cercare di trovare un modo per prevedere in modo significativo quale valore deve essere inserito in ogni record che manca un valore. Ciò comporta la visualizzazione dei record completi e il tentativo di trovare indizi su quale potrebbe essere il valore mancante.

Supponiamo che stiate analizzando un file demografico per prevedere i probabili acquirenti di uno dei vostri prodotti. In questo file hai, tra gli altri campi, informazioni sullo stato civile, il numero di bambini e il numero di automobili. Per qualche motivo, il numero di campi di automazione non è presente in un terzo dei record.

Analizzando gli altri due campi - stato civile e numero di bambini - potresti scoprire alcuni modelli. Le persone singole tendono ad avere una macchina. Le persone sposate senza figli tendono ad avere due macchine. Le persone sposate con più di un figlio potrebbero avere più probabilità di avere tre auto. In questo modo, puoi indovinare i valori mancanti in un modo che differenzi effettivamente i record. Altro su questo approccio a venire.

Esiste un termine generale nelle statistiche e nell'elaborazione dei dati che fa riferimento a dati discutibili. Il termine rumoroso è usato per descrivere dati che sono inaffidabili, corrotti, o comunque meno pristine. I dati mancanti sono solo un esempio di ciò. Una descrizione dettagliata delle tecniche per la pulizia dei dati rumorosi in generale va oltre lo scopo di questo libro. In effetti, questa è un'area di ricerca attiva nella teoria statistica. Il fatto che tutto il rumore non sia facile da individuare come valori mancanti rende problematico affrontare.

Valori mancanti nei dati dell'utente - manichini

Scelta dell'editore

Come salvare le immagini in un file immagine in R - dummies

Come salvare le immagini in un file immagine in R - dummies

Se vuoi pubblicare le tue risultati, è necessario salvare la trama in un file in R e quindi importare questo file grafico in un altro documento. Tuttavia, per la maggior parte del tempo, potresti semplicemente voler utilizzare la grafica R in modo interattivo per esplorare i tuoi dati. Per salvare un grafico su un'immagine ...

Come cercare più parole in R - dummies

Come cercare più parole in R - dummies

Quando si lavora con il testo in R, potrebbe essere necessario per trovare parole o motivi all'interno del testo. Immagina di avere una lista degli stati negli Stati Uniti e vuoi scoprire quali nomi di stato consistono in due parole. Per trovare sottostringhe, è possibile utilizzare la funzione grep (), che prende due argomenti essenziali: ...

Come cercare le singole parole in R - dummies

Come cercare le singole parole in R - dummies

Quando lavori con il testo, spesso tu può risolvere i problemi se riesci a trovare parole o motivi all'interno del testo. R rende questo facile da fare. Immagina di avere una lista degli stati negli Stati Uniti e vuoi scoprire quale di questi stati contiene la parola Nuovo. Per indagare su questo ...

Scelta dell'editore

Come calcolare le detrazioni e i crediti di imposta sugli investimenti immobiliari per l'esame di licenza immobiliare

Come calcolare le detrazioni e i crediti di imposta sugli investimenti immobiliari per l'esame di licenza immobiliare

Una detrazione fiscale è qualcosa che puoi vedere nell'esame di licenza immobiliare che puoi detrarre dal reddito di un investimento immobiliare per ridurre le tasse. Un credito d'imposta è qualcosa che puoi detrarre dalle tasse dovute. I governi federali e talvolta statali creano programmi che consentono crediti d'imposta o detrazioni per ...

Fattori economici che influenzano il valore per l'esame di licenza immobiliare - dummies

Fattori economici che influenzano il valore per l'esame di licenza immobiliare - dummies

Valore doesn ' semplicemente succede; le persone devono crearlo. La maggior parte di queste azioni personali che saranno trattate durante l'esame di licenza immobiliare, di solito chiamate influenze economiche, non sono altro che normali comportamenti umani. Il test pone due tipi di domande su questi principi o fattori economici. Vedrai domande sulle definizioni e ...

Come calcolare le aliquote fiscali per l'esame di licenza immobiliare - dummy

Come calcolare le aliquote fiscali per l'esame di licenza immobiliare - dummy

Pur calcolando la tassa le tariffe non sono qualcosa che devi sapere esattamente come fare per l'esame di licenza immobiliare, è qualcosa che devi capire in generale per rispondere a domande di non-matematica sul processo. Sapere come calcolare le tasse non è una cosa brutta da sapere, perché probabilmente si pagano le tasse di proprietà e ...

Scelta dell'editore

Suggerimenti per la registrazione Regole di gioco logiche sull'LSAT - manichini

Suggerimenti per la registrazione Regole di gioco logiche sull'LSAT - manichini

La maggior parte dei giochi di logica sull'LSAT hanno tre, quattro o cinque condizioni o regole che limitano il modo in cui giochi con i pezzi. Per ordinare i giochi, le restrizioni forniscono indizi su come i pezzi possono essere posizionati in relazione l'uno con l'altro. I tipi comuni di regole di ordinazione sono obiettivi, distanziatori e arrangiatori. Regole di destinazione I bersagli danno ...

Come gestire il tuo tempo con saggezza sul TASC - dummies

Come gestire il tuo tempo con saggezza sul TASC - dummies

Perché ogni sezione del TASC, oppure Prova l'esame di completamento secondario, ha un limite di tempo, vorrai essere consapevole di quanto tempo è passato mentre stai facendo il test. Un modo per gestire efficacemente il tuo tempo è semplicemente indossando un orologio. I centri di test potrebbero non avere sempre un orologio disponibile e ...

Rendendo più semplice il giorno di prova SSAT o ISEE - manichini

Rendendo più semplice il giorno di prova SSAT o ISEE - manichini

Non è possibile effettuare SSAT o ISEE più facile, ma puoi iniziare la giornata di test correttamente e renderlo più semplice e meno stressante, il che può portare a risultati migliori durante l'esame di ammissione. Ecco alcuni suggerimenti da tenere a mente al giorno del test SSAT o ISEE: riposati molto. La ...