Confronto Hadoop Distribuzioni - manichini

Troverete che l'ecosistema Hadoop ha molte parti componenti, ognuna delle quali esiste come un proprio progetto Apache. Poiché Hadoop è cresciuto considerevolmente e deve affrontare alcune ulteriori importanti modifiche, versioni diverse di questi componenti della comunità open source potrebbero non essere completamente compatibili con altri componenti. Ciò pone notevoli difficoltà alle persone che cercano di ottenere un avvio indipendente da Hadoop scaricando e compilando i progetti direttamente da Apache.

Red Hat è, per molte persone, il modello di come fare soldi con successo nel mercato del software open source. Ciò che Red Hat ha fatto è prendere Linux (un sistema operativo open source), raggruppare tutti i componenti necessari, creare un semplice programma di installazione e fornire supporto a pagamento a tutti i clienti.

Allo stesso modo in cui Red Hat ha fornito un pratico pacchetto per Linux, un certo numero di aziende ha raggruppato Hadoop e alcune tecnologie correlate nelle proprie distribuzioni Hadoop. Questo elenco descrive quelli più importanti:

• Cloudera : Forse il giocatore più conosciuto nel campo, Cloudera è in grado di rivendicare Doug Cutting, co-fondatore di Hadoop, come suo principale architetto. Cloudera è visto da molte persone come leader di mercato nello spazio Hadoop perché ha rilasciato la prima distribuzione commerciale Hadoop ed è un contributore di codice altamente attivo all'ecosistema Hadoop.

  Cloudera Enterprise, un prodotto posizionato da Cloudera al centro di ciò che definisce "Enterprise Data Hub", include Cloudera Distribution for Hadoop (CDH), una distribuzione open source di Hadoop e dei relativi progetti e come il suo proprietario Cloudera Manager. Inoltre è incluso un abbonamento di supporto tecnico per i componenti principali di CDH.

  Il principale modello di business di Cloudera è da tempo basato sulla sua capacità di sfruttare la sua diffusa distribuzione CDH e fornire servizi e supporto a pagamento. Nell'autunno del 2013, Cloudera ha annunciato formalmente che si sta concentrando sull'aggiunta di componenti a valore aggiunto proprietari su Hadoop open source per fungere da differenziatore.

  Inoltre, Cloudera ha reso una pratica comune accelerare l'adozione del codice open source alfa e beta per le versioni più recenti di Hadoop. Il suo approccio consiste nell'assumere componenti che ritenga essere maturi e adattarli alle esistenti librerie open source pronte per la produzione che sono incluse nella sua distribuzione.

• EMC : Pivotal HD, la distribuzione Apache Hadoop di EMC, integra nativamente la tecnologia di database di elaborazione massicciamente parallela (MPP) di EMC (precedentemente nota come Greenplum e ora nota come HAWQ) con Apache Hadoop.Il risultato è una distribuzione Hadoop ad alte prestazioni con vera elaborazione SQL per Hadoop. È possibile utilizzare query basate su SQL e altri strumenti di business intelligence per analizzare i dati archiviati in HDFS.

• Hortonworks : un altro attore importante nel mercato Hadoop, Hortonworks ha il maggior numero di committer e collaboratori di codice per i componenti dell'ecosistema Hadoop. (I committer sono i gatekeeper dei progetti Apache e hanno il potere di approvare le modifiche al codice.)

  Hortonworks è uno spin-off di Yahoo!, che è stato il driver aziendale originale del progetto Hadoop perché aveva bisogno di una piattaforma su larga scala per supportare il business dei motori di ricerca. Tra tutti i vendor di distribuzione Hadoop, Hortonworks è il più impegnato per il movimento open source, basato sul volume puro del lavoro di sviluppo che contribuisce alla comunità, e perché tutti i suoi sforzi di sviluppo sono (eventualmente) piegati nella base di codice open source.

  Il modello di business Hortonworks si basa sulla sua capacità di sfruttare la sua popolare distribuzione HDP e fornire servizi e supporto a pagamento. Tuttavia, non vende software proprietario. Piuttosto, l'azienda sostiene con entusiasmo l'idea di lavorare all'interno della comunità open source per sviluppare soluzioni che soddisfino i requisiti delle funzionalità aziendali (ad esempio, l'elaborazione delle query più veloce con Hive).

  Hortonworks ha creato una serie di relazioni con aziende consolidate nel settore della gestione dei dati: Teradata, Microsoft, Informatica e SAS, ad esempio. Sebbene queste aziende non abbiano le proprie offerte interne Hadoop, collaborano con Hortonworks per fornire soluzioni Hadoop integrate con i propri set di prodotti.

  L'offerta Hortop Hadoop di Hortonworks è la Hortonworks Data Platform (HDP), che include Hadoop oltre a strumenti e progetti correlati. A differenza di Cloudera, Hortonworks rilascia solo le versioni HDP con codice a livello di produzione dalla comunità open source.

• IBM : Big Blue offre una gamma di offerte Hadoop, con il focus sul valore aggiunto in cima allo stack Hadoop open source.

• Intel: Intel Distribution per Apache Hadoop (Intel Distribution) fornisce elaborazione distribuita e gestione dei dati per le applicazioni aziendali che analizzano i big data.

  Le caratteristiche principali includono prestazioni eccellenti con ottimizzazioni per processori Intel Xeon, Intel SSD storage e Intel 10GbE networking; sicurezza dei dati tramite crittografia e decrittografia in HDFS e controllo degli accessi basato sui ruoli con granularità a livello di cella in HBase; miglioramento delle prestazioni della query Hive; supporto per l'analisi statistica con un connettore per R, il popolare pacchetto statistico open source; e grafica analitica tramite Intel Graph Builder.

• MapR : per una distribuzione completa di Apache Hadoop e progetti correlati indipendenti da Apache Software Foundation, non guardare oltre MapR. Non vantando dipendenze Java o affidamento sul file system Linux, MapR viene promosso come l'unica distribuzione Hadoop che fornisce protezione completa dei dati, nessun singolo punto di errore e vantaggi significativi di facilità d'uso.

  Sono disponibili tre edizioni MapR: M3, M5 e M7. La M3 Edition è gratuita e disponibile per un uso di produzione illimitato; MapR M5 è un'offerta di abbonamento a livello intermedio; e MapR M7 è una distribuzione completa per Apache Hadoop e HBase che include Pig, Hive, Sqoop e molto altro.