Casa Finanza personale Miniera di dati con Hive - dummies

Miniera di dati con Hive - dummies

Video: Crochet Alpine Stitch Turtleneck with Pockets | Tutorial DIY 2025

Video: Crochet Alpine Stitch Turtleneck with Pockets | Tutorial DIY 2025
Anonim

Hive è un layer di archiviazione dati orientato ai batch costruito sugli elementi principali di Hadoop (HDFS e MapReduce) e è molto utile nei big data. Fornisce agli utenti che conoscono SQL una semplice implementazione SQL-lite chiamata HiveQL senza sacrificare l'accesso tramite mapper e riduttori. Con Hive, puoi ottenere il meglio da entrambi i mondi: accesso in stile SQL a dati strutturati e sofisticate analisi di big data con MapReduce.

Diversamente dalla maggior parte dei data warehouse, Hive non è progettato per risposte rapide alle query. In effetti, le query possono richiedere diversi minuti o addirittura ore a seconda della complessità. Di conseguenza, Hive viene utilizzato al meglio per il data mining e analisi più approfondite che non richiedono comportamenti in tempo reale. Perché si basa sulla base Hadoop, è molto estensibile, scalabile e resiliente, qualcosa che il data warehouse medio non è.

Hive utilizza tre meccanismi per l'organizzazione dei dati:

  • Tabelle: Le tabelle Hive sono le stesse delle tabelle RDBMS costituite da righe e colonne. Poiché Hive è sovrapposto su HDFS Hadoop, le tabelle vengono mappate alle directory nel file system. Inoltre, Hive supporta le tabelle archiviate in altri file system nativi.

  • Partizioni: Una tabella Hive può supportare una o più partizioni. Queste partizioni sono associate a sottodirectory nel file system sottostante e rappresentano la distribuzione dei dati in tutta la tabella. Ad esempio, se una tabella è denominata auto, con un valore chiave 12345 e un valore del creatore Ford, il percorso della partizione sarà / hivewh / Auto / kv = 12345 / Ford.

  • Secchi: A loro volta, i dati possono essere suddivisi in secchi. I bucket vengono memorizzati come file nella directory delle partizioni nel file system sottostante. I bucket sono basati sull'hash di una colonna nella tabella. Nell'esempio precedente, potresti avere un bucket chiamato Focus, contenente tutti gli attributi di un'automobile Ford Focus.

I metadati dell'alveare vengono memorizzati esternamente nel "metastore". "Il metastore è un database relazionale contenente le descrizioni dettagliate dello schema Hive, inclusi i tipi di colonna, i proprietari, i dati chiave e valore, le statistiche della tabella e così via. Il metastore è in grado di sincronizzare i dati del catalogo con altri servizi di metadati nell'ecosistema Hadoop.

Hive supporta un linguaggio simile a SQL chiamato HiveQL. HiveQL supporta molti primitivi SQL, come select, join, aggregate, union all e così via. Supporta anche query e inserimenti multitable condividendo i dati di input all'interno di una singola istruzione HiveQL. HiveQL può essere esteso per supportare l'aggregazione definita dall'utente, la trasformazione delle colonne e gli script di MapReduce incorporati.

Miniera di dati con Hive - dummies

Scelta dell'editore

Come salvare le immagini in un file immagine in R - dummies

Come salvare le immagini in un file immagine in R - dummies

Se vuoi pubblicare le tue risultati, è necessario salvare la trama in un file in R e quindi importare questo file grafico in un altro documento. Tuttavia, per la maggior parte del tempo, potresti semplicemente voler utilizzare la grafica R in modo interattivo per esplorare i tuoi dati. Per salvare un grafico su un'immagine ...

Come cercare più parole in R - dummies

Come cercare più parole in R - dummies

Quando si lavora con il testo in R, potrebbe essere necessario per trovare parole o motivi all'interno del testo. Immagina di avere una lista degli stati negli Stati Uniti e vuoi scoprire quali nomi di stato consistono in due parole. Per trovare sottostringhe, è possibile utilizzare la funzione grep (), che prende due argomenti essenziali: ...

Come cercare le singole parole in R - dummies

Come cercare le singole parole in R - dummies

Quando lavori con il testo, spesso tu può risolvere i problemi se riesci a trovare parole o motivi all'interno del testo. R rende questo facile da fare. Immagina di avere una lista degli stati negli Stati Uniti e vuoi scoprire quale di questi stati contiene la parola Nuovo. Per indagare su questo ...

Scelta dell'editore

Come calcolare le detrazioni e i crediti di imposta sugli investimenti immobiliari per l'esame di licenza immobiliare

Come calcolare le detrazioni e i crediti di imposta sugli investimenti immobiliari per l'esame di licenza immobiliare

Una detrazione fiscale è qualcosa che puoi vedere nell'esame di licenza immobiliare che puoi detrarre dal reddito di un investimento immobiliare per ridurre le tasse. Un credito d'imposta è qualcosa che puoi detrarre dalle tasse dovute. I governi federali e talvolta statali creano programmi che consentono crediti d'imposta o detrazioni per ...

Fattori economici che influenzano il valore per l'esame di licenza immobiliare - dummies

Fattori economici che influenzano il valore per l'esame di licenza immobiliare - dummies

Valore doesn ' semplicemente succede; le persone devono crearlo. La maggior parte di queste azioni personali che saranno trattate durante l'esame di licenza immobiliare, di solito chiamate influenze economiche, non sono altro che normali comportamenti umani. Il test pone due tipi di domande su questi principi o fattori economici. Vedrai domande sulle definizioni e ...

Come calcolare le aliquote fiscali per l'esame di licenza immobiliare - dummy

Come calcolare le aliquote fiscali per l'esame di licenza immobiliare - dummy

Pur calcolando la tassa le tariffe non sono qualcosa che devi sapere esattamente come fare per l'esame di licenza immobiliare, è qualcosa che devi capire in generale per rispondere a domande di non-matematica sul processo. Sapere come calcolare le tasse non è una cosa brutta da sapere, perché probabilmente si pagano le tasse di proprietà e ...

Scelta dell'editore

Suggerimenti per la registrazione Regole di gioco logiche sull'LSAT - manichini

Suggerimenti per la registrazione Regole di gioco logiche sull'LSAT - manichini

La maggior parte dei giochi di logica sull'LSAT hanno tre, quattro o cinque condizioni o regole che limitano il modo in cui giochi con i pezzi. Per ordinare i giochi, le restrizioni forniscono indizi su come i pezzi possono essere posizionati in relazione l'uno con l'altro. I tipi comuni di regole di ordinazione sono obiettivi, distanziatori e arrangiatori. Regole di destinazione I bersagli danno ...

Come gestire il tuo tempo con saggezza sul TASC - dummies

Come gestire il tuo tempo con saggezza sul TASC - dummies

Perché ogni sezione del TASC, oppure Prova l'esame di completamento secondario, ha un limite di tempo, vorrai essere consapevole di quanto tempo è passato mentre stai facendo il test. Un modo per gestire efficacemente il tuo tempo è semplicemente indossando un orologio. I centri di test potrebbero non avere sempre un orologio disponibile e ...

Rendendo più semplice il giorno di prova SSAT o ISEE - manichini

Rendendo più semplice il giorno di prova SSAT o ISEE - manichini

Non è possibile effettuare SSAT o ISEE più facile, ma puoi iniziare la giornata di test correttamente e renderlo più semplice e meno stressante, il che può portare a risultati migliori durante l'esame di ammissione. Ecco alcuni suggerimenti da tenere a mente al giorno del test SSAT o ISEE: riposati molto. La ...