Vídeo: AWS re:Invent 2014 | (ENT303) Getting Started with AWS for VMware Professionals 2024
A solução para expandir os clusters Hadoop indefinidamente é federar o NomeNodo. Antes de Hadoop 2 entrar na cena, os aglomerados de Hadoop tiveram que viver com o fato de que o NomeNode colocava limites no grau em que podiam escalar. Poucos grupos conseguiram escalar além de 3, 000 ou 4 000 nós.
A necessidade do NameNode de manter registros para cada bloco de dados armazenado no cluster acabou sendo o fator mais significativo que restringe um maior crescimento de cluster. Quando você tem muitos blocos, torna-se cada vez mais difícil para o NameNode escalar a medida que o cluster Hadoop se equilibra.
Especificamente, você deve configurar o HDFS para que você tenha várias instâncias NameNode executando por eles próprios, nós mestres dedicados e, em seguida, tornando cada NameNode responsável somente para os blocos de arquivos em seu próprio espaço de nome.
A figura mostra padrões de replicação de blocos de dados em HDFS. Você pode ver um cluster Hadoop com dois NomNodes servindo um único cluster. Os nós escravos possuem blocos de ambos os espaços de nomes.
