Lar Finanças Pessoais Fatores de forma de implantação alternativos para Hadoop - dummies

Fatores de forma de implantação alternativos para Hadoop - dummies

Índice:

Vídeo: Technology Stacks - Computer Science for Business Leaders 2016 2025

Vídeo: Technology Stacks - Computer Science for Business Leaders 2016 2025
Anonim

Embora o Hadoop funcione melhor quando instalado em um computador físico, onde o processamento tem acesso direto a armazenamento e rede dedicados, o Hadoop possui implantações alternativas. E embora eles sejam menos eficientes do que o hardware dedicado, em certos casos, alternativas são opções valiosas.

Servidores virtualizados

Uma grande tendência nos centros de TI na última década é a virtualização, onde um grande servidor pode hospedar várias "máquinas virtuais" que se parecem e funcionam como máquinas únicas. No lugar do hardware dedicado, todo o conjunto de aplicativos e repositórios de uma organização é implantado em hardware virtualizado.

Esta abordagem tem muitas vantagens: a centralização da TI simplifica a manutenção, o investimento em TI é maximizado devido a menos ciclos de CPU não utilizados e a pegada de hardware geral é menor, resultando em um menor custo total de propriedade.

As organizações em que as implantações de TI são inteiramente virtualizadas às vezes exigem que cada nova aplicação siga esse modelo. Embora o Hadoop possa ser implantado dessa maneira, essencialmente como um cluster virtual (com nós mestres virtuais e nós virtuais escravos), o desempenho sofre, parcialmente porque, para a maioria dos ambientes virtualizados, o armazenamento é baseado em SAN e não está conectado localmente.

Como o Hadoop foi projetado para funcionar melhor quando todos os núcleos de CPU disponíveis podem ter acesso rápido a discos de fiação independentes, um gargalo é criado porque todo o mapa e reduzir tarefas começam a processar dados através da rede limitada entre as CPUs e a SAN. Uma vez que o grau de isolamento entre recursos de servidor virtualizados é limitado (servidores virtuais compartilham recursos uns com os outros), as cargas de trabalho Hadoop também podem ser afetadas por outra atividade.

Quando o desempenho do seu servidor virtual é afetado pela carga de trabalho de outro servidor, isso é realmente conhecido nos círculos de TI como um problema de "vizinho ruidoso"!

Os ambientes virtualizados podem ser bastante úteis, porém, em alguns casos. Por exemplo, se sua organização precisa completar uma análise exploratória única de um grande conjunto de dados, você pode facilmente criar um cluster temporário em seu ambiente virtualizado. Este método é muitas vezes uma maneira mais rápida de obter aprovação interna do que suportar os problemas burocráticos de adquirir novo hardware dedicado.

À medida que você experimenta o Hadoop, você geralmente o executa em suas máquinas laptop através de uma máquina virtual (VM). Hadoop é extremamente lento neste tipo de ambiente, mas se você estiver usando pequenos conjuntos de dados, é uma valiosa ferramenta de aprendizado e teste.

Implementações em nuvem

As variações de ambientes virtualizados são provedores de computação em nuvem, como Amazon, Rackspace e IBM SoftLayer. A maioria dos principais provedores de nuvem pública agora possui MapReduce ou Hadoop disponíveis para uso. Mais uma vez, seu desempenho é inferior ao da implantação do seu cluster em hardware dedicado, mas está melhorando.

Os provedores de nuvem estão disponibilizando ambientes otimizados para o Hadoop onde os nós escravos possuem armazenamento de armazenamento e redes dedicadas localmente. Além disso, os hipervisores estão se tornando muito mais eficientes, com sobrecarga e latência reduzidas.

Não considera uma solução em nuvem para aplicações de longo prazo, porque o custo do aluguel de recursos de computação em nuvem é significativamente maior que o de possuir e manter um sistema comparável. Com um provedor de nuvem, você está pagando por conveniência e por poder descarregar a sobrecarga do hardware de provisionamento. No entanto, a nuvem é uma plataforma ideal para testes, educação e tarefas únicas de processamento de dados.

Além das considerações de desempenho e custo, você possui considerações regulatórias com implantações públicas em nuvem. Se você tiver dados confidenciais, que devem ser armazenados dentro ou fora do país, uma implantação pública da nuvem não é uma opção. Em casos como esse, onde você precisa da conveniência de uma implantação baseada em nuvem, uma nuvem privada é uma boa opção, se estiver disponível.

Fatores de forma de implantação alternativos para Hadoop - dummies

Escolha dos editores

Como executar o teste beta para uma aplicação iOS - manequins

Como executar o teste beta para uma aplicação iOS - manequins

Depois de executar o seu aplicativo em alguns dispositivos e está confiante de que está funcionando da maneira que é suposto, considere levá-lo às mãos de alguns testadores beta. O teste beta permite que você receba comentários de usuários reais e repare todos os erros antes que o público em geral os veja. Você pode se surpreender ...

Como publicar no Amazon Appstore para Android - dummies

Como publicar no Amazon Appstore para Android - dummies

Publicação para o Amazon Appstore para Android é semelhante à publicação na Google Play Store: você cria uma conta e, em seguida, talvez seja necessário pagar uma taxa de desenvolvedor. Ao contrário do Google Play Store, os aplicativos devem ser revistos no Amazon Appstore para Android, portanto, planeje alguns dias entre o dia em que você enviar ...

Como preparar ativos gráficos em seu aplicativo Android para publicar na Play Store - Dummies

Como preparar ativos gráficos em seu aplicativo Android para publicar na Play Store - Dummies

Quando você publica um aplicativo Android na Play Store, você interage com o Console do desenvolvedor do Google Play. O passo essencial nesta interação é o passo em que você carrega o arquivo APK do seu aplicativo. É o passo essencial, mas não é o único passo. Você também deve usar a Consola do desenvolvedor da Play Store ...

Escolha dos editores

As Leis de Minecraft Redstone - dummies

As Leis de Minecraft Redstone - dummies

Cada mecanismo Redstone da Minecraft possui um conjunto diferente de propriedades que determinam como ele atua. Você deve entender as relações entre suas propriedades. Depois de trabalhar com Redstone por um tempo, a forma e a função das suas ferramentas podem se tornar bastante intuitivas. Até então, você pode usar essas informações para descobrir quais opções são ...

Minecraft Pocket Edition Guia de Sobrevivência - dummies

Minecraft Pocket Edition Guia de Sobrevivência - dummies

Ao contrário da versão bastante complicada para PC do Minecraft, Pocket Edition (PE) de A Minecraft tem uma série de etapas mais direta para alcançar seu ponto final, o Nether Spire. Para sobreviver ao PE Minecraft, um jogador precisa seguir a série de passos descritos abaixo. Punch madeira e construir um abrigo. Todo o Minecraft ...

Minecraft Para Dummies Cheat Sheet - dummies

Minecraft Para Dummies Cheat Sheet - dummies

Minecraft requer um jogador para reunir recursos para sobreviver, construir, criar, e avance no jogo. Devido aos diferentes ambientes encontrados no Minecraft, um jogador precisa usar diferentes estratégias para reunir recursos eficientemente nas três principais áreas do jogo - Overland, the Mines e the Nether. Uma vez que estes ...

Escolha dos editores

Como criar mensagens de e-mail de impressão em série no Word 2013 - dummies

Como criar mensagens de e-mail de impressão em série no Word 2013 - dummies

Palavra 2013 permite que você expire mensagens de e-mail personalizadas usando a opção E-Mail para mala direta. Esta opção funciona apenas quando você configura o programa Microsoft Outlook no seu computador. Depois disso, você inicia o documento principal para sua fusão de e-mail obedecendo a estas etapas:

Como criar múltiplas colunas em um documento do Word 2007 - dummies

Como criar múltiplas colunas em um documento do Word 2007 - dummies

Para converter seu padrão single- (ou não-) coluna do documento do Word 2007 em um com várias colunas, basta escolher o formato da coluna que deseja no menu Colunas. Instantaneamente, seu documento é transformado em uma maravilha multicolora!

Como criar tabelas rápidas nas tabelas do Word 2008 para Mac - dummies

Como criar tabelas rápidas nas tabelas do Word 2008 para Mac - dummies

Ajudam você a organizar idéias ou dados que seriam aborrecedores e difíceis de compreender em forma de parágrafo regular. Com o Word 2008 para Mac, você pode facilmente criar tabelas - às vezes chamadas de grades - em qualquer lugar em seus documentos. A maneira mais fácil de criar tabelas é com um dos melhores recursos novos ...