Gestione di Big Data Technologies in un Hybrid Cloud - manichini

Il termine big data viene utilizzato spesso nel mondo della tecnologia cloud ibrida a causa della continua necessità di elaborare quantità crescenti di dati. Il fatto chiave dei big data è che esiste al punto di non ritorno dei workaround che le organizzazioni hanno storicamente messo in atto per gestire grandi volumi di dati complessi. Le grandi tecnologie di dati consentono alle persone di analizzare e utilizzare effettivamente questi dati in modo efficace.

Caratteristiche dei big data

I big data hanno generalmente tre caratteristiche: volume, varietà e velocità:

• Volume: I big data hanno grandi volumi. In genere si riferisce a almeno più terabyte di dati. Molte implementazioni di big data stanno cercando di analizzare petabyte di informazioni.

  Nome	Valore
  Byte	10 0
  Gigabyte	10 9 byte
  Terabyte	10 12 > byte petabyte
  10	15 byte Exabyte
  10	18 bytes

  Varietà:

• I big data hanno diverse forme e dimensioni. Include questi tipi di dati: Dati strutturati

  • è il tipo tipico di dati con cui gli analisti sono abituati a trattare. Include le entrate e il numero di vendite - il tipo di dati che pensi di includere in un database. I dati strutturati vengono anche prodotti in modi nuovi in ​​prodotti come sensori e tag RFID.

    I dati semistrutturati

  • hanno una struttura, ma non nel modo in cui si pensa alle tabelle in un database. Comprende formati EDI e XML. I dati non strutturati

  • includono testo, immagini e audio, inclusi documenti, messaggi di posta elettronica, tweet o blog interni a un'azienda o su Internet. I dati non strutturati rappresentano circa l'80% di tutti i dati. Velocità:

• Questa è la velocità con cui i dati si muovono. Pensa ai sensori che catturano i dati ogni millisecondo o flussi di dati emessi dalle apparecchiature mediche. I big data ti vengono spesso in streaming, quindi è associato a una natura in tempo reale. Il cloud è il luogo ideale per i big data per via dello storage scalabile, della potenza di elaborazione e delle risorse elastiche. Il modello cloud è su larga scala; calcolo distribuito e una serie di framework e tecnologie sono emerse per supportare questo modello, tra cui

Apache Hadoop:

• Una piattaforma di calcolo distribuito open source scritta in Java. È una libreria software che consente l'elaborazione distribuita su cluster di computer. È davvero un file system distribuito. Crea un pool di computer, ognuno con un file system Hadoop. Hadoop è stato progettato per gestire grandi quantità di dati complessi.I dati possono essere strutturati, non strutturati o semistrutturati. Hadoop può essere eseguito su molti server che non condividono memoria o disco. Vedi Hadoop per ulteriori informazioni. MapReduce:

• Un framework software introdotto da Google per supportare l'elaborazione distribuita su grandi serie di dati. È al centro di ciò che Hadoop sta facendo con i big data e l'analisi dei big data. È progettato per sfruttare le risorse del cloud. Questo calcolo viene eseguito su numerosi computer, denominati cluster e ogni cluster è denominato nodo . MapReduce può gestire sia i dati strutturati che quelli non strutturati. Gli utenti specificano una funzione mappa che elabora una coppia chiave / valore per generare un insieme di coppie intermedie e una funzione di riduzione che unisce queste coppie. Big data databases

Un aspetto importante di Hadoop è che può gestire diversi tipi di dati. Sistemi di gestione di database paralleli sono sul mercato da decenni. Possono supportare l'esecuzione parallela perché la maggior parte delle tabelle sono partizionate sui nodi di un cluster e possono convertire comandi SQL in un piano suddiviso tra i nodi del cluster. Tuttavia, si occupano principalmente di dati strutturati perché è difficile integrare dati non strutturati e non strutturati nelle colonne e nelle righe in un modello relazionale.

Hadoop ha iniziato un movimento in quello che è stato chiamato

NoSQL, che significa non solo SQL. Il termine si riferisce a un insieme di tecnologie diverse dai sistemi di database relazionali. Una delle principali differenze è che non usano SQL. Sono inoltre progettati per archivi di dati distribuiti. NoSQL non significa che le persone non dovrebbero usare SQL. Piuttosto, l'idea è che, a seconda del problema, i database relazionali e i database NoSQL possono coesistere in un'organizzazione. Esistono numerosi esempi di questo tipo di database, tra cui:

Apache Cassandra:

• Un sistema di gestione dei dati distribuito open source originariamente sviluppato da Facebook. Non ha requisiti di struttura stringenti, quindi può gestire tutti i diversi tipi di dati. Gli esperti affermano che eccelle nell'elaborazione di transazioni in tempo reale ad alto volume. Altri database open source includono MongoDB, Apache CouchDB e Apache HBase. Amazon Simple DB:

• Amazon confronta questo database con un foglio di calcolo in quanto contiene colonne e righe con attributi e elementi memorizzati in ciascuno. A differenza di un foglio di calcolo, tuttavia, ciascuna cella può avere più valori e ogni elemento può avere il proprio set di attributi associati. Amazon quindi indicizza automaticamente i dati. Recentemente, Amazon ha annunciato Amazon Dynamo DB come un modo per portare NoSQL di grandi quantità di dati nel cloud. Google BigTable:

• Questo ibrido è un po 'come un grande tavolo. Poiché le tabelle possono essere grandi, vengono divise ai limiti delle righe in tabelle, che potrebbero essere centinaia di megabyte o così. MapReduce viene spesso utilizzato per generare e modificare i dati memorizzati in BigTable.