Middleware per Data Warehousing - dummies

Il middleware è un software per computer che collega componenti software. In un ambiente di data warehousing, i servizi middleware sono l'insieme di programmi e routine che eseguono le seguenti operazioni:

• Estrarre i dati dall'origine (o origini).

• Assicurarsi che i dati siano corretti.

• Spostare i dati intorno all'ambiente da una piattaforma all'altra, se necessario.

• Gestisce tutte le trasformazioni di dati necessarie.

• Carica i dati nel database del data warehouse (o database).

In senso più formale, gli elementi nell'elenco precedente sono gestiti da questi servizi middleware:

• Selezione ed estrazione dati

• Sicurezza dati, parte I (a livello di componente)

• Movimento dati, parte I (anche a livello di componente)

• Mappatura e trasformazione dei dati

• Garanzia della qualità dei dati, parte II (dopo la trasformazione è avvenuta)

• Movimento dei dati, parte II (nell'ambiente della piattaforma del data warehouse)

• Caricamento dei dati (nel data warehouse) > Questa figura illustra come questi servizi middleware confluiscono in un ambiente di data warehousing di dimensioni moderate.

Ma l'ambiente di data warehousing potrebbe differire da quello mostrato in questa figura, in particolare nell'area dei servizi di spostamento dei dati. Un servizio di spostamento dei dati è necessario ogni volta che i dati superano i confini del sistema. La tua immagine concettuale differisce, a seconda dei dettagli del tuo particolare ambiente end-to-end.

È assolutamente necessario pianificare, progettare e pensare in altro modo al middleware del data warehouse in termini di singoli servizi nell'elenco precedente, piuttosto che in termini generici, come "strumenti di estrazione". "Molti fornitori diversi forniscono alcuni, molti o tutti questi servizi come parte di un singolo prodotto o di una suite di prodotti.

Tuttavia, uno strumento che ha forti servizi di mappatura e trasformazione, ad esempio, potrebbe essere debole nei servizi di caricamento dei dati, oppure uno strumento che fornisce un ricco set di servizi di estrazione potrebbe essere meno efficace nello spazio di mappatura e trasformazione, oltre alla garanzia della qualità dei dati.

Prima di selezionare uno strumento per il tuo progetto di data warehousing (se questa è la strada che fai, piuttosto che la codifica personalizzata), assicurati di avere una buona idea delle sfide particolari nel tuo ambiente. Se si hanno esigenze di estrazione dei dati relativamente semplici, ad esempio, ma si affrontano problemi di qualità dei dati, concentrarsi sulla ricerca del miglior strumento di assicurazione della qualità disponibile, anche se ha solo delle capacità di estrazione.

(Questo consiglio si applica anche se lo strumento non ha capacità di estrazione, nel qual caso è necessario combinarlo con un altro strumento.)