Casa Finanza personale Hadoop come archivio interrogabile di dati di magazzino freddi - manichini

Hadoop come archivio interrogabile di dati di magazzino freddi - manichini

Video: HDInsight: Fast Interactive Queries with Hive on LLAP | Azure Friday 2025

Video: HDInsight: Fast Interactive Queries with Hive on LLAP | Azure Friday 2025
Anonim

Numerosi studi mostrano che la maggior parte dei dati in un data warehouse aziendale viene interrogata raramente. I fornitori di database hanno risposto a tali osservazioni implementando i propri metodi per l'individuazione dei dati da inserire.

Un metodo ordina l'universo dati in design di caldo, caldo o freddo, dove caldo dati (a volte chiamato attivo dati) è usato spesso, caldo i dati sono usati di volta in volta, e i dati a freddo sono usati raramente.La soluzione proposta per molti fornitori è per archiviare i dati a freddo su dischi più lenti all'interno dei contenitori del data warehouse o per creare intelligenti strategie di memorizzazione nella cache per mantenere in memoria i dati più caldi, tra gli altri.

Il problema con questo approccio è che anche se viene utilizzata una memoria più lenta, è ancora costoso archiviare i dati freddi e raramente usati in un magazzino. licenze hardware e software. Allo stesso tempo, i dati a freddo e in sospeso vengono spesso archiviati su nastro.

Questo modello tradizionale di archiviazione dei dati si interrompe quando si desidera interrogare tutti i dati a freddo in modo economico e relativamente efficiente, in altre parole, senza richiedere vecchi nastri.

Se si considerano i costi e le caratteristiche operative di Hadoop, sembra che sia destinato a diventare il nuovo nastro di backup. Hadoop è economico in gran parte perché i sistemi Hadoop sono progettati per utilizzare un hardware di livello inferiore rispetto a quello normalmente utilizzato nei sistemi di data warehouse. Un altro significativo risparmio sui costi è la concessione di licenze software.

Le licenze di distribuzione commerciali Hadoop richiedono una frazione del costo delle licenze di software di data warehouse relazionale, notoriamente costose. Dal punto di vista operativo, Hadoop è progettato per scalare facilmente semplicemente aggiungendo ulteriori nodi slave a un cluster esistente. E man mano che i nodi slave vengono aggiunti e gli insiemi di dati crescono di volume, i framework di elaborazione dei dati di Hadoop consentono alle applicazioni di gestire senza problemi l'aumento del carico di lavoro.

Hadoop rappresenta un modo semplice, flessibile ed economico per spingere l'elaborazione su letteralmente migliaia di server.

Con la sua architettura scalabile ed economica, Hadoop sembra essere una scelta perfetta per l'archiviazione dei dati di magazzino … tranne che per una piccola questione: la maggior parte del mondo IT funziona su SQL e SQL da solo non funziona bene con Hadoop.

Certo, il movimento NoSQL più Hadoop-friendly è vivo e vegeto, ma la maggior parte degli utenti esperti ora usa SQL tramite set di strumenti comuni e pronti all'uso che generano query SQL sotto il cofano - prodotti come Tableau, Microsoft Excel e IBM Cognos BI.

È vero che l'ecosistema Hadoop include Hive, ma Hive supporta solo un sottoinsieme di SQL e, sebbene le prestazioni stiano migliorando (insieme al supporto SQL), non è altrettanto veloce nel rispondere alle query più piccole come lo sono i sistemi relazionali. Recentemente, ci sono stati importanti progressi nell'accesso SQL a Hadoop, che ha spianato la strada a Hadoop per diventare la nuova destinazione per gli archivi di data warehouse online.

A seconda del fornitore Hadoop, le API SQL (o simili a SQL) stanno diventando disponibili in modo che i più comuni strumenti di reporting e analisi off-the-shelf possano emettere senza problemi l'SQL che viene eseguito sui dati archiviati in Hadoop. Ad esempio, IBM ha la sua API Big SQL, Cloudera ha Impala e Hive stesso, tramite l'iniziativa Hortonworks Stinger, sta diventando sempre più conforme a SQL.

Esistono diversi punti di vista (alcuni mirano a migliorare Hive, altri a estendere Hive e altri a fornire un'alternativa), tutte queste soluzioni tentano di affrontare due problemi: MapReduce è una soluzione scadente per l'esecuzione di query più piccole, e l'accesso SQL è - per ora - la chiave per consentire agli operatori IT di utilizzare le loro competenze SQL esistenti per ottenere valore dai dati archiviati in Hadoop.

Hadoop come archivio interrogabile di dati di magazzino freddi - manichini

Scelta dell'editore

Tasti di scelta rapida per Microsoft Office 2007 - dummies

Tasti di scelta rapida per Microsoft Office 2007 - dummies

Microsoft Office 2007 è pieno di scorciatoie da tastiera per risparmiare tempo. Comprimi i componenti di Office 2007 - Word, Excel, Outlook, PowerPoint e Access - utilizzando i tasti di scelta rapida utili della seguente tabella. Con poco sforzo, puoi aprire file, trovare contenuti, modificare quel contenuto e altro! Funzione Ctrl Copia Ctrl + C Taglia Ctrl + X Trova Ctrl + F Vai ...

Vantaggi di Lync Online - dummies

Vantaggi di Lync Online - dummies

Lync Online è disponibile sia in ambito professionale sia in piccole imprese (P) e aziendali (E ) piani in Office 365. Le funzionalità includono messaggistica istantanea (IM), chiamate audio e video, presenza, riunioni online, presentazioni online e la possibilità di connettersi con i contatti di Windows Live Messenger e altri utenti esterni che eseguono Lync. La tecnologia è integrata in tutto ...

Come avviare una conversazione con Lync Online - dummies

Come avviare una conversazione con Lync Online - dummies

La scheda di contatto di Lync Online è un ottimo modo per avviare una conversazione con un collega o i membri del tuo team. Oltre alle note personali, alla presenza e alla posizione, vengono visualizzate anche le informazioni sulla tua organizzazione come il titolo e i numeri di telefono. Per visualizzare la scheda di contatto, passa con il mouse sopra l'immagine di una persona e fai clic sul gallone ...

Scelta dell'editore

Come scegliere un'immagine di sfondo Twitter per Visual Social Marketing - dummies

Come scegliere un'immagine di sfondo Twitter per Visual Social Marketing - dummies

Quando si imposta su un account Twitter per il social marketing visivo, un tipo di immagine che è richiesto per il tuo profilo è l'immagine di sfondo - viene visualizzata dietro il profilo Twitter. Nella parte superiore della schermata Impostazioni disegno, Twitter ti consente di scegliere tra una serie di temi premade. Un tema premade applica un ...

Come scegliere un buon nome utente Twitter - dummy

Come scegliere un buon nome utente Twitter - dummy

Su Twitter, il tuo nome utente, o handle, è il tuo identità. Se puoi, iscriviti a Twitter usando il tuo nome o una variante di esso come nome utente (supponendo che qualcun altro non lo stia già utilizzando). Ad esempio, se il tuo nome è John Ira, potresti scegliere un nome utente Twitter come @johnira o ...

Come personalizzare il tuo profilo Twitter - dummies

Come personalizzare il tuo profilo Twitter - dummies

La tua pagina pubblica su Twitter, noto anche come profilo, è la prima impressione che gli altri utenti di Twitter hanno di te, e può fare una grande differenza nel decidere se seguirti. Personalizzare la tua pagina del profilo Twitter in modo che rifletta te o la tua azienda fa la differenza quando si tratta di persone ...

Scelta dell'editore

Perché avresti bisogno di più profili utente per Dragon Professional Individuale - manichini

Perché avresti bisogno di più profili utente per Dragon Professional Individuale - manichini

Drago Individuo professionale capisce solo quelli che si sono presentati ufficialmente come utenti e hanno creato un profilo utente. Ecco quattro motivi per cui potresti voler creare più di un profilo utente: usi diversi vocabolari o stili di scrittura per compiti diversi. Si utilizzano diversi microfoni per compiti diversi. Volete ...

Lavorare con fogli di calcolo Usare NaturallySpeaking - dummies

Lavorare con fogli di calcolo Usare NaturallySpeaking - dummies

Utilizzando fogli di calcolo con versioni precedenti di NaturallySpeaking era difficile perché non si poteva indirizzare direttamente i nomi delle celle. Volevi dire qualcosa come "Cella A5" o "Seleziona Colonna C." Ma (sospiro), niente dado. Il tuo assistente non aveva idea di cosa stavi parlando. Bene, il tuo assistente ha "up-leveled" le sue abilità! Ora è possibile ...

Su Evernote's Passcode Lock - dummies

Su Evernote's Passcode Lock - dummies

Abbonati premium e business che utilizzano determinati dispositivi ora possono bloccare l'app Evernote con un blocco Passcode . Ogni volta che torni all'app, ti viene chiesto di inserire il tuo codice. Un blocco passcode è un'ottima opzione se condividi il tuo telefono o tablet con altre persone e vuoi impedire loro di accedere a ...