Servizi middleware: caricamento dati e caricamento dati - dummy

Nella maggior parte dei casi, il due servizi middleware - selezione ed estrazione e assicurazione della qualità - si svolgono sulla stessa piattaforma (sistema) su cui si trova l'origine dati. Se il data warehouse sarà ospitato su una piattaforma diversa rispetto all'origine dati, tuttavia, è necessario utilizzare un servizio data-movement per effettuare il trasferimento dei dati da sistema a sistema.

È probabile che si utilizzi un servizio relativamente semplice (gestito da un semplice programma di trasferimento file, ad esempio). Il servizio di movimento, se ne hai bisogno a questo punto, sposta semplicemente i dati di QA nell'ambiente in cui prevedi di effettuare ulteriori trasformazioni.

Se si sta eseguendo la trasformazione e l'elaborazione QA su una piattaforma diversa dalla piattaforma su cui si esegue il data warehouse di produzione (su un server di sviluppo, ad esempio, anziché sul server operativo), è necessario eseguire un altro servizio di spostamento dei dati per ottenere i dati nel luogo in cui si desidera risiedere. Questo processo di solito comporta solo un trasferimento di file relativamente semplice.

Il servizio di caricamento dei dati carica i dati estratti, QA'd, trasformati e ri-QA nel tuo magazzino. È possibile caricare i dati tramite un programma personalizzato, SQL (un'istruzione INSERT, ad esempio) o un'utilità.

Se è necessario caricare un grande volume di dati, provare a utilizzare un'utilità di caricamento rapido, che di solito richiede molto meno tempo di un approccio programmatico o basato su SQL.

Se si utilizza SQL per caricare i dati in un database relazionale, provare a rendere il caricamento il più efficiente possibile disattivando la registrazione (se il prodotto DBMS lo consente). Se il processo di caricamento termina in modo anomalo, è sufficiente utilizzare l'istruzione DROP o TRUNCATE per eliminare la tabella parzialmente caricata, risolvere il problema che ha causato la chiusura e riavviare il lavoro.

Questo processo di solito è molto più veloce che se si attivano le funzionalità necessarie per i dati in stile OLTP e l'integrità delle transazioni (con un sovraccarico di accompagnamento).