Hadoop Rack Considerações - dummies

Um princípio básico do Hadoop está se expandindo com nós esclave adicionais para atender às crescentes demandas de armazenamento e armazenamento de dados. Em um modelo de escala, você deve considerar cuidadosamente o design do cluster, porque dezenas, e até centenas, de nós escravos, em última instância, precisam ser armazenadas, alimentadas, conectadas em rede e resfriadas.

Factores do formulário do servidor

Uma das primeiras opções que os arquitetos de TI enfrentarão ao criar um cluster Hadoop é qual dos dois fatores de forma a serem usados ​​nos nós Hadoop:

• Servidor de lâmina: Projetado para uma densidade máxima, você pode colar o máximo possível de esses bebês em um rack. Os servidores Blade se encaixam nos gabinetes das lâminas, que possuem muitos componentes padrão do servidor, como armazenamento dedicado, rede, energia e refrigeração. Esses componentes são compartilhados entre os servidores blade, o que significa que cada servidor blade pode ser muito menor.

  Os servidores de lâminas são uma escolha atraente na superfície, porque você pode usar um rack padrão e implantar entre 40 e 50 desses servidores blade. O problema com o uso de lâminas para implementações do Hadoop é que eles dependem de certos componentes compartilhados, o que não está de acordo com a arquitetura de nada compartilhada do Hadoop, onde cada um dos nós escravos é autônomo e tem seus próprios recursos dedicados.

  Mais importante ainda, as lâminas têm pouco espaço para armazenamento anexado localmente, muitas vezes não tendo mais do que duas ou três baías de unidade. Este é um não iniciante para o Hadoop, uma vez que os nodos escravos precisam de uma capacidade de armazenamento muito mais dedicada.

• Servidor de rack: Servidores completos sem componentes compartilhados e espaço para expansão de hardware, os servidores em rack são a verdadeira escolha para o Hadoop porque eles são bem autônomos. Um servidor de rack configurado adequadamente para ser um nó escravo Hadoop normalmente ocupa duas RU, então você pode caber 20 delas em um rack padrão.

Custo de propriedade

Ao escolher e projetar um nó escravo, suas considerações mais importantes são tipicamente os custos iniciais de aquisição e o volume de armazenamento. No entanto, o custo de propriedade também é importante. É um bom equilíbrio, no entanto, porque as escolhas que afetam os custos de aquisição, o consumo de energia, o resfriamento, o desempenho do hardware e a densidade são muitas vezes opostas. Em nome de ajudá-lo a fazer boas escolhas, aqui estão alguns conselhos (bastante específicos):

• Reserve fontes de alimentação redundantes para os nós mestres. A existência de fontes de alimentação redundantes para nós escravos é uma superação - uma falha na fonte de energia em um nó escravo não afetaria muito o cluster.No entanto, ter fontes de alimentação redundantes em todos os nós escravos aumentaria o consumo de energia e geraria mais calor.

• Escolha as velocidades de clock do meio da estrada para escravos CPUs do nó. As CPUs com velocidades de clock mais altas não só custam mais, mas também usam mais energia e geram muito mais calor.

• Escolha servidores rack projetados para Hadoop. Com a crescente popularidade do Hadoop, todos os principais fornecedores de hardware oferecem agora servidores de rack que são nós de escravo ideais, com 12 a 20 compartimentos para armazenamento localmente anexado.

  Os servidores de rack projetados para funcionar como nós escravos Hadoop são tipicamente muito grandes para se adequar a um fator de forma de uma RU, mas assumir duas RUs pode resultar em espaço desperdiçado. Para o uso mais eficiente do espaço, certos fornecedores de hardware lançaram servidores em rack que acumulam múltiplos nós escravos em um único chassi.

  Como exemplo, nesta forma compactada, um rack padrão pode ter até 27 nós escravos (mesmo com switches de rede), onde cada nodo escravo tem espaço para 15 unidades de disco para HDFS. O resultado deste arranjo é densidade muito maior e melhor uso do espaço no data center.