Pianificazione e coordinamento dei flussi di lavoro di Oozie in Hadoop - dummies

Dopo aver creato un insieme di flussi di lavoro, è possibile utilizzare una serie di lavori di coordinatore Oozie per pianificare quando sono eseguito. Sono disponibili due opzioni di pianificazione per l'esecuzione: un tempo specifico e la disponibilità di dati in concomitanza con un certo tempo.

Pianificazione basata sul tempo per i lavori di coordinatore Oozie

I lavori di coordinatore Oozie possono essere pianificati per l'esecuzione in un determinato momento, ma dopo essere stati avviati, possono essere configurati per l'esecuzione a intervalli specificati. Nell'esempio seguente viene mostrato un processo di coordinatore che viene avviato con una data e un'ora di inizio specificata:

… $ {workflowAppPath}

Pianificazione basata sulla disponibilità di tempo e dati per i lavori di coordinatore Oozie

I lavori di coordinatore Oozie possono anche essere programmati per l'esecuzione in un determinato momento se sono specificati file o directory di dati sono disponibili. Il seguente elenco mostra un esempio di coordinatore che inizia ad essere eseguito ad un'ora e ad una data di inizio specificate, viene eseguito una volta al giorno se il set di dati identificato da triggerDatasetDir esiste e viene eseguito fino all'ora di fine specificata:

… $ {triggerDatasetDir} $ {startTime} $ {workflowAppPath}

Esecuzione dei lavori di coordinatore Oozie

Simile ai lavori del flusso di lavoro Oozie, i lavori del coordinatore richiedono un lavoro. file delle proprietà e il coordinatore. il file xml deve essere caricato in HDFS. Per eseguire un lavoro di coordinatore Oozie dall'interfaccia della riga di comando di Oozie, emettere un comando come il seguente, assicurando che il lavoro. il file delle proprietà è accessibile localmente:

$ oozie job -config sampleCoordinator / job. properties -run

Dopo aver inviato il lavoro, il coordinatore viene memorizzato nel database degli oggetti Oozie. Al momento dell'invio, Oozie restituisce un identificatore che consente di monitorare e amministrare il coordinatore - lavoro: 0000001-00000001234567-oozie-C.

Per verificare lo stato di questo lavoro, eseguire il comando

oozie job -info 0000001-00000001234567-oozie-C