Vídeo: O que é Hadoop 2024
Muitas vezes na infância de Hadoop, uma grande quantidade de discussão foi centrada na representação do NameNode de um único ponto de falha. Hadoop, em geral, sempre teve uma arquitetura robusta e tolerante a falhas, com exceção desta área chave. Sem o NameNode, não existe um cluster Hadoop.
Usando o Hadoop 2, você pode configurar o HDFS para que haja um Nome de nome ativo e um Nome de nome de espera. O DataNode de espera precisa estar em um nó mestre dedicado que esteja configurado de forma idêntica ao nó mestre usado pelo NomeNome Ativo.
O nome de modo de espera não está parado por enquanto o nomeNode lida com todas as solicitações de endereço do bloco. O DataNodo de espera, carregado com a tarefa de manter o estado das localizações do bloco e armazenar metadados na memória, lida com as responsabilidades de verificação do HDFS.
O Active NameNode escreve entradas de diário em alterações de arquivos para a maioria dos serviços do JournalNode, que são executados nos nós mestres. ( Nota: A solução HDFS de alta disponibilidade requer pelo menos três nós mestres, e se houver mais, pode haver apenas um número ímpar.)
Se ocorrer uma falha, o nó de espera primeiro lê todas as entradas de diário preenchidas (onde a maioria dos Números de Diário tem uma entrada, em outras palavras), para garantir que o novo Nome de Nome Ativo seja totalmente consistente com o estado do cluster.
O Zookeeper é usado para monitorar o NomeNome Ativo e para lidar com a logística de failover se o Nome de Nome Ativo ficar indisponível. Tanto os Nomes de nome ativos como de espera possuem Controladores de Failover de Zookeeper dedicados (ZFC) que executam as tarefas de monitoramento e failover. No caso de uma falha, o ZFC informa as instâncias do Zookeeper no cluster, que então elege um novo Nome de Nome Ativo.
O Apache Zookeeper fornece serviços de coordenação e configuração para sistemas distribuídos, por isso não é de admirar que o possamos usar em todo o lugar no Hadoop.
