Casa Finanza personale Soluzioni di Big Data alternative - dummies

Soluzioni di Big Data alternative - dummies

Sommario:

Video: I lavori più richiesti nel 2020 - Perle di Coaching 2025

Video: I lavori più richiesti nel 2020 - Perle di Coaching 2025
Anonim

Guardando oltre Hadoop, è possibile vedere soluzioni alternative per i big data su L'orizzonte. Queste soluzioni consentono di lavorare con i big data in tempo reale o di utilizzare tecnologie di database alternative per gestirli ed elaborarli. Qui vengono introdotti i framework di elaborazione in tempo reale, poi le piattaforme MPU (Massively Parallel Processing) e infine i database NoSQL che consentono di lavorare con i big data al di fuori dell'ambiente Hadoop.

Si dovrebbe essere consapevoli di qualcosa indicato come conformità ACID, abbreviazione di A tomografia, C onsistency, I solation, e D conformità urability. La conformità ACID è uno standard grazie al quale sono garantite transazioni accurate e affidabili.

Nelle soluzioni per big data, la maggior parte dei sistemi di database non sono compatibili con ACID, ma questo non rappresenta necessariamente un problema grave. Questo perché la maggior parte dei sistemi di big data utilizza Decision Support Systems (DSS) che elaborano i dati in batch prima che i dati vengano letti. DSS sono sistemi informativi che vengono utilizzati per il supporto decisionale organizzativo. I DSS non transazionali non dimostrano reali requisiti di conformità ACID.

Framework di elaborazione in tempo reale

A volte potrebbe essere necessario interrogare flussi di grandi quantità di dati in tempo reale … e non è possibile fare questo genere di cose usando Hadoop. In questi casi, utilizzare invece un framework di elaborazione in tempo reale. Un framework di elaborazione in tempo reale è - come suggerisce il nome - una struttura in grado di elaborare i dati in tempo reale (o quasi in tempo reale) mentre tali flussi di dati e flussi nel sistema. Essenzialmente, i framework di elaborazione in tempo reale sono l'antitesi dei framework di elaborazione batch che si vedono implementati in Hadoop.

I framework di elaborazione in tempo reale possono essere classificati nelle seguenti due categorie:

  • Framework che riducono il carico di lavoro di MapReduce per aumentare l'efficienza temporale complessiva del sistema: Soluzioni in questa categoria include Apache Storm e Apache Spark per l'elaborazione del flusso quasi in tempo reale.

  • Framework che implementano metodi di query innovativi per facilitare la query in tempo reale sui big data: Alcune soluzioni in questa categoria includono Dremel di Google, Apache Drill, Shark per Apache Hive e Cloudera's Impala.

I framework di elaborazione del flusso in tempo reale sono molto utili in una moltitudine di settori, dalle analisi di borsa e dei mercati finanziari alle ottimizzazioni dell'e-commerce e dalla rilevazione delle frodi in tempo reale alla logistica degli ordini ottimizzata. Indipendentemente dal settore in cui lavori, se la tua azienda è influenzata da flussi di dati in tempo reale generati da esseri umani, macchine o sensori, allora un framework di elaborazione in tempo reale ti sarà utile per ottimizzare e generare valore per il tuo organizzazione.

Le piattaforme MPP (Massively Parallel Processing)

possono essere utilizzate in alternativa a MapReduce come approccio alternativo per l'elaborazione di dati distribuiti. Se il tuo obiettivo è quello di distribuire l'elaborazione parallela su un data warehouse tradizionale, allora un MPP potrebbe essere la soluzione perfetta.

Per comprendere come MPP si confronta con un framework di elaborazione parallela standard di MapReduce, considerare quanto segue. MPP esegue attività di calcolo parallelo su hardware costoso e personalizzato, mentre MapReduce le esegue su server di merci a basso costo. Di conseguenza, le capacità di elaborazione MPP sono limitate in termini di costi. Ciò detto, l'MPP è più veloce e più facile da usare rispetto ai lavori MapReduce standard. Questo perché MPP può essere interrogato usando Structured Query Language (SQL), ma i lavori MapReduce nativi sono controllati dal più complicato linguaggio di programmazione Java.

I ben noti produttori e prodotti MPP includono la piattaforma Teradata della vecchia scuola, oltre a nuove soluzioni come EMC 2 di Greenplum DCA, HP Vertica, IBM Netezza e Oracle Exadata.

Introduzione ai database NoSQL

I tradizionali sistemi di gestione dei database relazionali (RDBMS) non sono in grado di gestire le richieste di grandi quantità di dati. Questo perché i database relazionali tradizionali sono progettati per gestire solo set di dati relazionali costruiti con dati archiviati in righe e colonne pulite e quindi in grado di essere interrogati tramite Structured Query Language (SQL).

I sistemi RDBM non sono in grado di gestire dati non strutturati e semi-strutturati. Inoltre, i sistemi RDBM semplicemente non hanno le capacità di elaborazione e gestione necessarie per soddisfare i requisiti di volume e velocità dei big data.

È qui che entra in gioco NoSQL. I database NoSQL, come MongoDB, sono sistemi di database distribuiti non relazionali progettati per affrontare la sfida dei big data. I database NoSQL escono dall'architettura tradizionale dei database relazionali e offrono una soluzione molto più scalabile ed efficiente.

I sistemi NoSQL facilitano l'interrogazione dei dati non SQL di dati non relazionali o privi di schemi, semi-strutturati e non strutturati. In questo modo, i database NoSQL sono in grado di gestire le origini dati strutturate, semi-strutturate e non strutturate che sono comuni nei sistemi di big data.

NoSQL offre quattro categorie di database non relazionali: database di grafici, database di documenti, archivi di valori chiave e archivi di famiglie di colonne. Poiché NoSQL offre funzionalità native per ciascuno di questi tipi distinti di strutture dati, offre funzionalità di archiviazione e recupero molto efficienti per la maggior parte dei tipi di dati non relazionali. Questa adattabilità ed efficienza fanno di NoSQL una scelta sempre più popolare per gestire i big data e per superare le sfide di elaborazione che ne derivano.

C'è un po 'di dibattito sul significato del nome NoSQL. Alcuni sostengono che NoSQL sta per Non solo SQL , mentre altri sostengono che l'acronimo rappresenta Database non SQL . L'argomento è piuttosto complesso e non c'è una vera risposta pronta e asciutta.Per semplificare le cose, basti pensare a NoSQL come a una classe di sistemi di gestione di database non relazionali che non rientrano nello spettro dei sistemi RDBM che vengono interrogati utilizzando SQL.

Soluzioni di Big Data alternative - dummies

Scelta dell'editore

Come leggere dal file in PHP per la programmazione HTML5 e CSS3 - manichini

Come leggere dal file in PHP per la programmazione HTML5 e CSS3 - manichini

Se puoi scrivere dati in un file in PHP, sarebbe logico che tu possa leggere da quel file anche per la programmazione HTML5 e CSS3. Il readContact. programma php recupera i dati salvati nel programma precedente e li visualizza sullo schermo. Non è difficile scrivere un programma per leggere ...

Come usare una classe PHP in uno script - dummy

Come usare una classe PHP in uno script - dummy

Il codice classe PHP deve essere inserito lo script che usa la classe. Più comunemente, la classe viene archiviata in un file di inclusione separato ed è inclusa in qualsiasi script che utilizza la classe. Per usare un oggetto, devi prima creare l'oggetto dalla classe. Quindi quell'oggetto può eseguire qualsiasi metodo che ...

Scelta dell'editore

Come usare lo strumento Timbro clone di Photoshop - manichini

Come usare lo strumento Timbro clone di Photoshop - manichini

Puoi usare lo strumento Timbro clone in Photoshop per rimuovere gli angoli e altri difetti copiando una porzione dei pixel circostanti, che dovrebbero avere un colore e una consistenza simili, sopra la parte malata dell'immagine. Per utilizzare lo strumento Timbro clone, attenersi alla seguente procedura: Selezionare lo strumento Timbro clone dallo strumento ...

Come disinstallare e reinstallare Photoshop Lightroom - dummies

Come disinstallare e reinstallare Photoshop Lightroom - dummies

Se si nota un problema con Lightroom la prima volta che si avvia esso, qualcosa potrebbe essere andato storto durante il processo di installazione. Disinstallare e quindi reinstallare potrebbe essere tutto ciò che è necessario per correggere il problema. Il processo è diverso per ogni sistema operativo, quindi ecco i passaggi separati per ciascuno. Su Windows: Chiudi tutto ...

Fotografia For Dummies Cheat Sheet - dummies

Fotografia For Dummies Cheat Sheet - dummies

La fotografia è un hobby divertente e gratificante che può renderti molto popolare tra la gente nelle tue foto - o molto impopolare. Per ottenere il massimo da una fotocamera "inquadra e scatta", digitale o meno, la prima abilità da padroneggiare è bloccare l'attenzione. Puoi perfezionare le tue abilità fotografiche in modo che le tue foto siano ...

Scelta dell'editore

Agire per aumentare le emozioni edificanti - manichini

Agire per aumentare le emozioni edificanti - manichini

Al fine di elevare le tue emozioni, il primo passo è diventare consapevoli di quale emozioni che hai Diventa consapevole di ciò che ti innesca: cosa ti mette in agitazione e ti fa arrabbiare e ciò che ti rende molto eccitato. Un trigger sta guardando alcuni programmi televisivi e consente alle emozioni di questi programmi di permeare ...

Come le aziende ti convincono ad acquistare i loro prodotti - manichini

Come le aziende ti convincono ad acquistare i loro prodotti - manichini

Quasi tutti i media commerciali destinati alle donne ottengono la loro pubblicità entrate dalle industrie del cibo, della bellezza, della dieta e della moda. Solo l'industria della dieta stessa è un'impresa commerciale da 33 miliardi di dollari l'anno. E, naturalmente, queste industrie hanno bisogno di clienti in modo continuativo per continuare a avere successo. È nel loro interesse per ...

Come si forma l'immagine del corpo nella tua gioventù - dummies

Come si forma l'immagine del corpo nella tua gioventù - dummies

In generale, ciò che hai vissuto con la tua famiglia quando stavano crescendo ha avuto un effetto diretto sui pensieri e le sensazioni che hai avuto sul tuo corpo. Ripensa ai tuoi anni più giovani. Quanto attentamente le seguenti affermazioni descrivono la tua famiglia? Nessuno ha esercitato. L'auto è stata utilizzata anche per viaggi brevi. Cibo pesante e da ingrasso ...