Video: WebCenter - Online Packaging Management System 2024
Il componente principale di YARN (Yet Another Resource Negotiator) è il Resource Manager, che governa tutte le risorse di elaborazione dati nel cluster Hadoop. In poche parole, Resource Manager è uno schedulatore dedicato che assegna risorse alle applicazioni richiedenti. Le sue uniche attività sono mantenere una vista globale di tutte le risorse nel cluster, gestire le richieste di risorse, pianificare la richiesta e quindi assegnare risorse all'applicazione richiedente.
Il Resource Manager, un componente critico in un cluster Hadoop, dovrebbe essere eseguito su un nodo master dedicato.
Anche se Resource Manager è fondamentalmente un programmatore puro, si affida ai moduli scheduler per la logica di schedulazione effettiva. È possibile scegliere tra gli stessi scheduler disponibili in Hadoop 1, che sono stati tutti aggiornati per funzionare con YARN: FIFO (first in, first out), Capacity o Fair Share.
Il Resource Manager è completamente agnostico per quanto riguarda sia le applicazioni che i framework - in altre parole non ha cani in quelle particolari cacce. Non ha alcun concetto di mappa o riduce le attività, non tiene traccia dell'avanzamento dei lavori o delle loro singole attività e non gestisce i failover.
In breve, il Resource Manager è una partenza completa dal daemon JobTracker per gli ambienti Hadoop 1. Quello che fa il Resource Manager è pianificare i carichi di lavoro, e fa bene quel lavoro.
Questo alto grado di funzioni di separazione - concentrandosi su un aspetto ignorando tutto il resto - è esattamente ciò che rende YARN molto più scalabile, in grado di fornire una piattaforma generica per le applicazioni e in grado di supportare un > multi-tenant Cluster Hadoop: multi-tenant perché diverse unità aziendali possono condividere lo stesso cluster Hadoop.
