3 Configurações de cluster hadoop - dummies

1 3

Implementação Hadoop de um único rack

Uma implantação de um único rack é um ponto de partida ideal para um cluster Hadoop.

Aqui, o cluster é bastante autônomo, mas porque ainda possui relativamente poucos nós escravos, os verdadeiros benefícios da resiliência de Hadoop ainda não são evidentes.

2 3

Implementação do Hadoop de três servidores

Um cluster de tamanho médio possui vários racks, onde os três nós principais são distribuídos através dos racks.

A resiliência de Hadoop está começando a se tornar aparente: mesmo que um rack inteiro falhasse (por exemplo, ambos os switches ToR em um único rack), o cluster ainda funcionaria, embora com um nível de desempenho menor. Uma falha do nó escravo dificilmente seria notável.

3 3

Implementação Hadoop em larga escala

Em agrupamentos maiores com vários racks, como o exemplo mostrado, a arquitetura de rede necessária é bastante sofisticada.

Independentemente de quantos racks os aglomerados Hadoop se expandem, os nós escravos de qualquer rack precisam ser capazes de falar de maneira eficiente ?? para qualquer nó mestre.

À medida que o número de nós escravos aumenta até o ponto em que você possui mais de três bastidores, racks adicionais são compostos apenas de nós escravos, além das chaves ToR. Se você estiver usando HBase fortemente em seu cluster, você pode adicionar nós mestres para hospedar serviços HMaster e Zookeeper adicionais.

Se você se formar em uma escala verdadeiramente maciça, onde você tem centenas de nós escravos, talvez seja necessário usar as capacidades da federação HDFS para que grandes porções de seus conjuntos de dados sejam gerenciados por diferentes serviços NameNode.

Para cada Nome de nome Active adicional, você precisará de um DataNom de espera Standby correspondente e dois nós mestres para hospedar esses servidores. Com a federação HDFS, o céu é realmente o limite em termos de quão longe você pode dimensionar seus clusters.

Voltar Próximo