Fatores de forma de implantação alternativos para Hadoop - dummies

Embora o Hadoop funcione melhor quando instalado em um computador físico, onde o processamento tem acesso direto a armazenamento e rede dedicados, o Hadoop possui implantações alternativas. E embora eles sejam menos eficientes do que o hardware dedicado, em certos casos, alternativas são opções valiosas.

Servidores virtualizados

Uma grande tendência nos centros de TI na última década é a virtualização, onde um grande servidor pode hospedar várias "máquinas virtuais" que se parecem e funcionam como máquinas únicas. No lugar do hardware dedicado, todo o conjunto de aplicativos e repositórios de uma organização é implantado em hardware virtualizado.

Esta abordagem tem muitas vantagens: a centralização da TI simplifica a manutenção, o investimento em TI é maximizado devido a menos ciclos de CPU não utilizados e a pegada de hardware geral é menor, resultando em um menor custo total de propriedade.

As organizações em que as implantações de TI são inteiramente virtualizadas às vezes exigem que cada nova aplicação siga esse modelo. Embora o Hadoop possa ser implantado dessa maneira, essencialmente como um cluster virtual (com nós mestres virtuais e nós virtuais escravos), o desempenho sofre, parcialmente porque, para a maioria dos ambientes virtualizados, o armazenamento é baseado em SAN e não está conectado localmente.

Como o Hadoop foi projetado para funcionar melhor quando todos os núcleos de CPU disponíveis podem ter acesso rápido a discos de fiação independentes, um gargalo é criado porque todo o mapa e reduzir tarefas começam a processar dados através da rede limitada entre as CPUs e a SAN. Uma vez que o grau de isolamento entre recursos de servidor virtualizados é limitado (servidores virtuais compartilham recursos uns com os outros), as cargas de trabalho Hadoop também podem ser afetadas por outra atividade.

Quando o desempenho do seu servidor virtual é afetado pela carga de trabalho de outro servidor, isso é realmente conhecido nos círculos de TI como um problema de "vizinho ruidoso"!

Os ambientes virtualizados podem ser bastante úteis, porém, em alguns casos. Por exemplo, se sua organização precisa completar uma análise exploratória única de um grande conjunto de dados, você pode facilmente criar um cluster temporário em seu ambiente virtualizado. Este método é muitas vezes uma maneira mais rápida de obter aprovação interna do que suportar os problemas burocráticos de adquirir novo hardware dedicado.

À medida que você experimenta o Hadoop, você geralmente o executa em suas máquinas laptop através de uma máquina virtual (VM). Hadoop é extremamente lento neste tipo de ambiente, mas se você estiver usando pequenos conjuntos de dados, é uma valiosa ferramenta de aprendizado e teste.

Implementações em nuvem

As variações de ambientes virtualizados são provedores de computação em nuvem, como Amazon, Rackspace e IBM SoftLayer. A maioria dos principais provedores de nuvem pública agora possui MapReduce ou Hadoop disponíveis para uso. Mais uma vez, seu desempenho é inferior ao da implantação do seu cluster em hardware dedicado, mas está melhorando.

Os provedores de nuvem estão disponibilizando ambientes otimizados para o Hadoop onde os nós escravos possuem armazenamento de armazenamento e redes dedicadas localmente. Além disso, os hipervisores estão se tornando muito mais eficientes, com sobrecarga e latência reduzidas.

Não considera uma solução em nuvem para aplicações de longo prazo, porque o custo do aluguel de recursos de computação em nuvem é significativamente maior que o de possuir e manter um sistema comparável. Com um provedor de nuvem, você está pagando por conveniência e por poder descarregar a sobrecarga do hardware de provisionamento. No entanto, a nuvem é uma plataforma ideal para testes, educação e tarefas únicas de processamento de dados.

Além das considerações de desempenho e custo, você possui considerações regulatórias com implantações públicas em nuvem. Se você tiver dados confidenciais, que devem ser armazenados dentro ou fora do país, uma implantação pública da nuvem não é uma opção. Em casos como esse, onde você precisa da conveniência de uma implantação baseada em nuvem, uma nuvem privada é uma boa opção, se estiver disponível.