Video: What is HDFS | Hadoop Distributed File System (HDFS) Introduction | Hadoop Training | Edureka 2024
La soluzione per espandere indefinitamente i cluster Hadoop è federare il NameNode. Prima che Hadoop 2 entrasse in scena, i cluster Hadoop dovevano convivere con il fatto che NameNode ponesse dei limiti al grado di scalabilità. Pochi cluster erano in grado di scalare oltre 3, 000 o 4, 000 nodi.
La necessità di NameNode di mantenere i record per ogni blocco di dati archiviato nel cluster è risultato essere il fattore più significativo che limitava la crescita del cluster. Quando si hanno troppi blocchi, diventa sempre più difficile che il NameNode si ridimensiona man mano che il cluster Hadoop viene scalato.
In particolare, è necessario impostare HDFS su in modo da avere più istanze NameNode in esecuzione su propri nodi master dedicati e quindi rendere ciascun NameNode responsabile solo dei blocchi di file nel proprio spazio dei nomi.
La figura mostra i pattern di replica dei blocchi di dati in HDFS. È possibile visualizzare un cluster Hadoop con due NameNode che servono un singolo cluster. I nodi slave contengono tutti i blocchi di entrambi gli spazi dei nomi.
