Casa Finanza personale Garantire la qualità dei dati esterni in entrata - dummy

Garantire la qualità dei dati esterni in entrata - dummy

Video: PERCHÉ RUBANO I DATI DAL TUO SMARTPHONE (e cosa ci fanno) - Ugo Mattei 2025

Video: PERCHÉ RUBANO I DATI DAL TUO SMARTPHONE (e cosa ci fanno) - Ugo Mattei 2025
Anonim

Quando si progetta un data warehouse e si determinano i dati esterni necessari, è sufficiente effettuare un ordine (simile all'ordinare vestiti o un cesto di frutta da un sito online). Dopo aver iniziato a ricevere i dati tramite streaming, trasferimento di file o altri mezzi, la navigazione è fluida, o no?

E la qualità dei dati in arrivo? È assolutamente necessario applicare lo stesso insieme di procedure di controllo qualità (QA) ai dati forniti esternamente che si fanno ai dati provenienti dai propri sistemi interni. Solo perché acquisti le informazioni sul mercato aperto non garantisci che i dati siano impeccabili.

Applica le procedure di controllo qualità a ogni batch di dati in entrata seguendo questi passaggi:

  1. Scopri se i dati in entrata hanno aggiunto i valori di controllo ai file.

    Alcuni esempi di valori di controllo sono il numero di record in ogni file, il valore totale di ciascuna colonna numerica (totale vendite di dollari per tutti i record e unità totali vendute per tutti i record, per esempio) e sottoinsiemi dei valori totali delle colonne (quantità totali di vendite e unità per stato, ad esempio).

    Se vengono forniti valori di controllo, questi devono essere memorizzati e utilizzati come parte delle procedure di caricamento end-to-end. Nessuno dovrebbe aggiornare ufficialmente il contenuto del magazzino fino a quando i totali di controllo non concordano con i calcoli che hai fatto quando hai preparato i dati per il caricamento.

  2. Se non vengono forniti valori di controllo, richiederli.

    Sebbene la richiesta possa richiedere alcuni cicli (alcune settimane o mesi, ad esempio) da compilare, qualsiasi fornitore di dati interessato a fornire un servizio clienti di alto livello prende seriamente questo tipo di richiesta e si sforza di fornire le informazioni di controllo richieste a disposizione.

  3. Durante le procedure di caricamento, filtra ogni riga.

    Assicurarsi che le seguenti condizioni siano vere:

    1. I tasti (identificatori univoci per ciascun record) sono corretti su tutte le informazioni. Ad esempio, se ogni record nel gruppo di dati SalesMasterRecord deve avere esattamente 12 record correlati in SalesDetailRecord (uno per ogni mese), assicurarsi che tutti i record di dettaglio siano presenti confrontando i valori della chiave del record.

    2. Gli intervalli di valori sono corretti. Le vendite di prodotti al mese, ad esempio, devono essere entro limiti ragionevoli per quel tipo di prodotto (ad esempio, gli aerei sono diversi dai bulloni).

    3. I campi di informazione mancanti (un probabile - quasi inevitabile - evento con dati forniti dall'esterno) non distorcono il significato dei dati in arrivo.

      Ad esempio, sebbene l'assenza di ulteriori dati (definiti in base alle regole aziendali per il proprio settore o organizzazione specifica) potrebbe non essere un problema troppo serio, se metà dei record in entrata ha uno spazio vuoto dove UnitsSold, TotalSalesPrice, o qualche altro tipo critico di informazioni dovrebbe essere, il valore dei dati è discutibile nel migliore dei casi.

    4. Soprattutto nelle fasi iniziali dell'acquisizione di dati esterni (i primi tre o quattro mesi, ad esempio), utilizzare gli strumenti di analisi, come descritto nel Capitolo 10, per eseguire analisi della qualità dei dati prima che gli utenti utilizzino gli stessi strumenti per svolgere attività analisi.

      Cerca stranezze, anomalie, risultati sconcertanti, incoerenze, paradossi apparenti e qualsiasi altra cosa che sembra davvero strana. Quindi, eseguire il drill-down fino alla radice dei dati per verificare la fonte della stranezza.

      Ricorda che probabilmente stai gestendo molti milioni di file di dati in arrivo: oltre a non essere in grado di controllare personalmente ogni singola riga, potresti avere difficoltà a impostare i criteri di filtro e controllo QA per ogni condizione possibile.

      Chiunque abbia mai fatto qualcosa con dati sorgente forniti esternamente ha riscontrato strani incongruenze e dati mancanti nelle informazioni in arrivo. Mettendoti al posto degli utenti e utilizzando gli stessi strumenti che usano, probabilmente puoi scoprire una cosa o due che puoi correggere, rendendo il tuo data warehouse un deposito molto migliore di preziose informazioni commerciali.

Garantire la qualità dei dati esterni in entrata - dummy

Scelta dell'editore

Come utilizzare i sottodomini per il proprio host Web - dummies

Come utilizzare i sottodomini per il proprio host Web - dummies

Il file di zona DNS detenuto dal Il server dei nomi autorevole per un dominio è in realtà piuttosto esteso e puoi manipolarlo in qualche modo usando i sottodomini. Considera il lato di Internet visibile agli utenti web e mostra come funzionano i sottodomini (e può migliorare il tuo sito Web. Diventa creativo con i sottodomini per il tuo DNS Un FQDN richiede un ...

Server privati ​​virtuali e server dedicati per host Web - manichini

Server privati ​​virtuali e server dedicati per host Web - manichini

Maggior parte degli host web iniziare su un server condiviso, che è un server web che ospita più siti Web, potenzialmente da decine o addirittura centinaia di client diversi. I server condivisi sono un buon punto di partenza ma, a volte, possono essere scarsi in termini di servizio, a seconda dell'host specifico, dei siti che si trovano ...

Dieci Free Web Hosting Apps - dummies

Dieci Free Web Hosting Apps - dummies

Ci sono centinaia di applicazioni di hosting web gratuite e gratuite che sono progettati per rendere la vita più facile. Non limitarti a fare una ricerca su Google per le app FTP gratuite e installare ciò che viene visualizzato senza sapere nulla sulla reputazione di un'app. Ci sono un certo numero di app FTP là fuori che sono lupi in pecore ...

Scelta dell'editore

Come creare una tabella in Excel 2010 - dummies

Come creare una tabella in Excel 2010 - dummies

È Possibile creare una tabella in Excel 2010 per aiutare gestisci e analizzi i dati correlati. Lo scopo di una tabella Excel non è tanto calcolare valori nuovi, ma piuttosto memorizzare molte informazioni in modo coerente, semplificando la formattazione, l'ordinamento e il filtraggio dei dati del foglio di lavoro. Una tabella Excel è ...

Come creare una tabella in Excel 2007 - dummies

Come creare una tabella in Excel 2007 - dummies

È Possibile creare una tabella in Excel 2007 (a elenco o database nelle precedenti versioni di Excel) per aiutarti a gestire e analizzare i dati correlati. Lo scopo di una tabella Excel non è tanto calcolare valori nuovi, ma piuttosto memorizzare molte informazioni in modo coerente, rendendo più semplice la formattazione, l'ordinamento, ...

Come creare una tabella di dati a variabile singola in Excel 2016 - dummies

Come creare una tabella di dati a variabile singola in Excel 2016 - dummies

Tabelle di dati ti consente di inserire una serie di possibili valori che Excel 2016 quindi inserisce in un'unica formula. Una tabella di dati a una variabile sostituisce una serie di valori possibili per un singolo valore di input in una formula. La seguente figura mostra un foglio di calcolo delle proiezioni di vendita 2017 per il quale una tabella di dati a una variabile è ...

Scelta dell'editore

Connessioni Wi-Fi per dispositivi mobili aziendali: Blackberry - dummies

Connessioni Wi-Fi per dispositivi mobili aziendali: Blackberry - dummies

Gli utenti aziendali possono configurare facilmente i propri dispositivi BlackBerry aziendali per connettersi a reti Wi-Fi pubbliche e sicure. Come i dispositivi Apple iOS e Google Android, i dispositivi BlackBerry possono offrire gli stessi servizi dati tramite Wi-Fi come nella rete cellulare dell'utente e velocità di download potenzialmente più elevate. Ciò significa che gli utenti possono accedere alla loro posta elettronica e navigare ...

Wi-Fi Protected Setup e Hacking Attacks - dummies

Wi-Fi Protected Setup e Hacking Attacks - dummies

Wi-Fi Protected Setup (WPS) è un standard wireless che consente una semplice connettività per gli AP wireless "sicuri". Il problema con WPS è che l'implementazione dei PIN registrar facilita la connessione al wireless e può facilitare gli attacchi alle stesse chiavi pre-condivise WPA / WPA2 utilizzate per bloccare il sistema nel suo complesso. Con sicurezza, tutto è un ...

Perché Hackers Hack - dummies

Perché Hackers Hack - dummies

Hackerano hackerare perché possono. Periodo. Ok, va un po 'più in profondità. L'hacking è un hobby occasionale per alcuni hacker: si scervellano solo per vedere ciò che possono e non possono intrufolarsi, testando di solito solo i propri sistemi. Alcuni sono ossessionati dall'ottenere notorietà o sconfiggere i sistemi informatici, e alcuni hanno criminali ...