Casa Finanza personale Miniera di dati con Hive - dummies

Miniera di dati con Hive - dummies

Video: Crochet Alpine Stitch Turtleneck with Pockets | Tutorial DIY 2025

Video: Crochet Alpine Stitch Turtleneck with Pockets | Tutorial DIY 2025
Anonim

Hive è un layer di archiviazione dati orientato ai batch costruito sugli elementi principali di Hadoop (HDFS e MapReduce) e è molto utile nei big data. Fornisce agli utenti che conoscono SQL una semplice implementazione SQL-lite chiamata HiveQL senza sacrificare l'accesso tramite mapper e riduttori. Con Hive, puoi ottenere il meglio da entrambi i mondi: accesso in stile SQL a dati strutturati e sofisticate analisi di big data con MapReduce.

Diversamente dalla maggior parte dei data warehouse, Hive non è progettato per risposte rapide alle query. In effetti, le query possono richiedere diversi minuti o addirittura ore a seconda della complessità. Di conseguenza, Hive viene utilizzato al meglio per il data mining e analisi più approfondite che non richiedono comportamenti in tempo reale. Perché si basa sulla base Hadoop, è molto estensibile, scalabile e resiliente, qualcosa che il data warehouse medio non è.

Hive utilizza tre meccanismi per l'organizzazione dei dati:

  • Tabelle: Le tabelle Hive sono le stesse delle tabelle RDBMS costituite da righe e colonne. Poiché Hive è sovrapposto su HDFS Hadoop, le tabelle vengono mappate alle directory nel file system. Inoltre, Hive supporta le tabelle archiviate in altri file system nativi.

  • Partizioni: Una tabella Hive può supportare una o più partizioni. Queste partizioni sono associate a sottodirectory nel file system sottostante e rappresentano la distribuzione dei dati in tutta la tabella. Ad esempio, se una tabella è denominata auto, con un valore chiave 12345 e un valore del creatore Ford, il percorso della partizione sarà / hivewh / Auto / kv = 12345 / Ford.

  • Secchi: A loro volta, i dati possono essere suddivisi in secchi. I bucket vengono memorizzati come file nella directory delle partizioni nel file system sottostante. I bucket sono basati sull'hash di una colonna nella tabella. Nell'esempio precedente, potresti avere un bucket chiamato Focus, contenente tutti gli attributi di un'automobile Ford Focus.

I metadati dell'alveare vengono memorizzati esternamente nel "metastore". "Il metastore è un database relazionale contenente le descrizioni dettagliate dello schema Hive, inclusi i tipi di colonna, i proprietari, i dati chiave e valore, le statistiche della tabella e così via. Il metastore è in grado di sincronizzare i dati del catalogo con altri servizi di metadati nell'ecosistema Hadoop.

Hive supporta un linguaggio simile a SQL chiamato HiveQL. HiveQL supporta molti primitivi SQL, come select, join, aggregate, union all e così via. Supporta anche query e inserimenti multitable condividendo i dati di input all'interno di una singola istruzione HiveQL. HiveQL può essere esteso per supportare l'aggregazione definita dall'utente, la trasformazione delle colonne e gli script di MapReduce incorporati.

Miniera di dati con Hive - dummies

Scelta dell'editore

Il programma in cinque passaggi per superare la menopausa - dummy

Il programma in cinque passaggi per superare la menopausa - dummy

Alcune donne capiscono a malapena che la menopausa è loro. Altre donne, tuttavia, sono meno fortunate. Se sei uno di questi, prendi in mano questi pochi modi per rendere la tua esperienza più facile per te stesso: capisci e accetta che stai attraversando una transizione naturale, proprio come la pubertà. Fortunatamente, sei più vecchio e più saggio di te ...

Menopausa For Dummies Cheat Sheet (edizione UK) - dummies

Menopausa For Dummies Cheat Sheet (edizione UK) - dummies

Menopausa segna la fine della fase riproduttiva della tua vita e così è un momento significativo di cambiamento fisico, emotivo e mentale per molte donne ma, per generazioni, donne di tutte le età hanno vagato alla cieca in menopausa senza sapere cosa aspettarsi. Qui puoi scoprire alcune delle nozioni di base.

Perimenopausa: facilitare la transizione dalle mestruazioni alla menopausa - manichini

Perimenopausa: facilitare la transizione dalle mestruazioni alla menopausa - manichini

Mestruazioni e menopausa sono ben noti biologici pietre miliari nella vita di una femmina. Contrariamente al pensiero popolare, la menopausa non è il periodo di mesi o anni in cui una donna sta "attraversando il cambiamento". "Questo lasso di tempo è chiamato perimenopausa. La menopausa è una data effettiva nel tempo. In particolare, è il 12 ° anniversario dell'ultimo ciclo mestruale di una donna. ...

Scelta dell'editore

Come utilizzare il filtro automatico personalizzato su una tabella di Excel - dummies

Come utilizzare il filtro automatico personalizzato su una tabella di Excel - dummies

È Possibile creare un filtro automatico personalizzato . Per fare ciò, seleziona il comando Filtro testo dal menu della tabella e scegli una delle opzioni di filtro del testo. Indipendentemente dall'opzione di filtro del testo selezionata, Excel visualizza la finestra di dialogo Filtro automatico personalizzato. Questa finestra di dialogo consente di specificare con estrema precisione quali record si desidera ...

Come utilizzare la funzione DPRODUCT in un database Excel - dummies

Come utilizzare la funzione DPRODUCT in un database Excel - dummies

DPRODUCT moltiplica i valori che corrispondono al criterio in un database Excel. Questo è potente ma anche in grado di produrre risultati che non sono l'intenzione. In altre parole, è una cosa da aggiungere e ricavare una somma. Questa è un'operazione comune su un set di dati. Osservando la seguente figura, è possibile ...

Come utilizzare la funzione DPRODUCT in Excel - dummy

Come utilizzare la funzione DPRODUCT in Excel - dummy

La funzione DPRODUCT in Excel è strana. La funzione DPRODUCT moltiplica i valori nei campi da un elenco di database in base ai criteri di selezione. Perché vorresti farlo? Chissà. La funzione utilizza la sintassi = DPRODUCT (database, campo, criteri) in cui il database è un riferimento all'intervallo alla tabella di Excel che contiene il valore desiderato ...

Scelta dell'editore

Programmazione con Java: riutilizzo dei nomi nella tua app per Android - dummies

Programmazione con Java: riutilizzo dei nomi nella tua app per Android - dummies

Ci sono un paio di cose a cui vuoi pensare quando riutilizzi i nomi nella tua app per Android. È possibile dichiarare due variabili Java - bag1 e bag2 - per fare riferimento a due diversi oggetti BagOfCheese. Va bene. Ma a volte, avere solo una variabile e riutilizzarla per il secondo oggetto funziona altrettanto bene, ...

Java: Mettere a frutto l'uso della classe - dummies

Java: Mettere a frutto l'uso della classe - dummies

La classe Employee nell'elenco non ha alcun metodo principale , quindi non c'è un punto di partenza per l'esecuzione del codice. Per risolvere questo problema, il programmatore scrive un programma separato con un metodo principale e utilizza tale programma per creare istanze Employee. Questo elenco di codici mostra una classe con un metodo principale - uno che inserisce il ...

Classi wrapper java - dummies

Classi wrapper java - dummies

La differenza tra tipi primitivi e tipi di riferimento è una delle funzionalità più controverse di Java e gli sviluppatori si lamentano spesso sulle differenze tra valori primitivi e valori di riferimento. Ogni tipo primitivo viene cotto nella lingua. Java ha otto tipi primitivi. Ogni tipo di riferimento è una classe o un'interfaccia. È possibile definire il proprio ...