Lar Finanças Pessoais Fatores de forma de implantação alternativos para Hadoop - dummies

Fatores de forma de implantação alternativos para Hadoop - dummies

Índice:

Vídeo: Technology Stacks - Computer Science for Business Leaders 2016 2025

Vídeo: Technology Stacks - Computer Science for Business Leaders 2016 2025
Anonim

Embora o Hadoop funcione melhor quando instalado em um computador físico, onde o processamento tem acesso direto a armazenamento e rede dedicados, o Hadoop possui implantações alternativas. E embora eles sejam menos eficientes do que o hardware dedicado, em certos casos, alternativas são opções valiosas.

Servidores virtualizados

Uma grande tendência nos centros de TI na última década é a virtualização, onde um grande servidor pode hospedar várias "máquinas virtuais" que se parecem e funcionam como máquinas únicas. No lugar do hardware dedicado, todo o conjunto de aplicativos e repositórios de uma organização é implantado em hardware virtualizado.

Esta abordagem tem muitas vantagens: a centralização da TI simplifica a manutenção, o investimento em TI é maximizado devido a menos ciclos de CPU não utilizados e a pegada de hardware geral é menor, resultando em um menor custo total de propriedade.

As organizações em que as implantações de TI são inteiramente virtualizadas às vezes exigem que cada nova aplicação siga esse modelo. Embora o Hadoop possa ser implantado dessa maneira, essencialmente como um cluster virtual (com nós mestres virtuais e nós virtuais escravos), o desempenho sofre, parcialmente porque, para a maioria dos ambientes virtualizados, o armazenamento é baseado em SAN e não está conectado localmente.

Como o Hadoop foi projetado para funcionar melhor quando todos os núcleos de CPU disponíveis podem ter acesso rápido a discos de fiação independentes, um gargalo é criado porque todo o mapa e reduzir tarefas começam a processar dados através da rede limitada entre as CPUs e a SAN. Uma vez que o grau de isolamento entre recursos de servidor virtualizados é limitado (servidores virtuais compartilham recursos uns com os outros), as cargas de trabalho Hadoop também podem ser afetadas por outra atividade.

Quando o desempenho do seu servidor virtual é afetado pela carga de trabalho de outro servidor, isso é realmente conhecido nos círculos de TI como um problema de "vizinho ruidoso"!

Os ambientes virtualizados podem ser bastante úteis, porém, em alguns casos. Por exemplo, se sua organização precisa completar uma análise exploratória única de um grande conjunto de dados, você pode facilmente criar um cluster temporário em seu ambiente virtualizado. Este método é muitas vezes uma maneira mais rápida de obter aprovação interna do que suportar os problemas burocráticos de adquirir novo hardware dedicado.

À medida que você experimenta o Hadoop, você geralmente o executa em suas máquinas laptop através de uma máquina virtual (VM). Hadoop é extremamente lento neste tipo de ambiente, mas se você estiver usando pequenos conjuntos de dados, é uma valiosa ferramenta de aprendizado e teste.

Implementações em nuvem

As variações de ambientes virtualizados são provedores de computação em nuvem, como Amazon, Rackspace e IBM SoftLayer. A maioria dos principais provedores de nuvem pública agora possui MapReduce ou Hadoop disponíveis para uso. Mais uma vez, seu desempenho é inferior ao da implantação do seu cluster em hardware dedicado, mas está melhorando.

Os provedores de nuvem estão disponibilizando ambientes otimizados para o Hadoop onde os nós escravos possuem armazenamento de armazenamento e redes dedicadas localmente. Além disso, os hipervisores estão se tornando muito mais eficientes, com sobrecarga e latência reduzidas.

Não considera uma solução em nuvem para aplicações de longo prazo, porque o custo do aluguel de recursos de computação em nuvem é significativamente maior que o de possuir e manter um sistema comparável. Com um provedor de nuvem, você está pagando por conveniência e por poder descarregar a sobrecarga do hardware de provisionamento. No entanto, a nuvem é uma plataforma ideal para testes, educação e tarefas únicas de processamento de dados.

Além das considerações de desempenho e custo, você possui considerações regulatórias com implantações públicas em nuvem. Se você tiver dados confidenciais, que devem ser armazenados dentro ou fora do país, uma implantação pública da nuvem não é uma opção. Em casos como esse, onde você precisa da conveniência de uma implantação baseada em nuvem, uma nuvem privada é uma boa opção, se estiver disponível.

Fatores de forma de implantação alternativos para Hadoop - dummies

Escolha dos editores

Noções básicas do arquivo de dados Flashback da Oracle 12c - dummies

Noções básicas do arquivo de dados Flashback da Oracle 12c - dummies

O Flashback Data Archive do oracle 12c é um mecanismo de banco de dados que permite que você para armazenar periodicamente ou indefinidamente todas as versões de linha em uma tabela ao longo da sua vida útil. Você pode então escolher uma hora para ver os dados como existia em um ponto específico. Esteja ciente de que o Flashback Data Archive é um recurso licenciado. ...

Noções básicas de clusters de aplicativos reais do Oracle 12c - manequins

Noções básicas de clusters de aplicativos reais do Oracle 12c - manequins

Se você visitou os sites da Oracle nos últimos 12 anos , você viu o byline de marketing: "Inquebrável. "Essa linha de tag refere-se ao recurso Real Application Clusters (RAC). Claro, muitos elementos estão envolvidos, mas o RAC tem o destaque. O RAC é a solução de clustering de banco de dados Oracle. Em certo sentido, funciona na teoria de que ...

Noções básicas de Redo Log Files no Oracle 12c - dummies

Noções básicas de Redo Log Files no Oracle 12c - dummies

Redo os arquivos de log armazenam as informações do buffer de log no banco de dados Oracle 12c. Eles são escritos pelo Log Writer (LGWR). Mais uma vez, você não pode ler esses arquivos binários sem a ajuda do software de banco de dados. Normalmente, os arquivos de reto de log são nomeados com a extensão. LOG ou. RDO. Pode ser qualquer coisa que você queira, ...

Escolha dos editores

São orgasmos ok durante a gravidez? - Dummies

São orgasmos ok durante a gravidez? - Dummies

As mulheres grávidas não só têm permissão para fazer sexo, mas muitas vezes o desejam. Mas é bom aproveitar a relação sexual com o ponto do orgasmo? Afinal, os orgasmos são nada mais do que contrações - e as pessoas sugeriram que isso poderia desencadear mão-de-obra. Isso é apenas um mito. De fato, grávida ...

Alimentando a Multidão em uma Reunião Familiar - manequins

Alimentando a Multidão em uma Reunião Familiar - manequins

Cozinhando uma refeição para um grande grupo (reunião familiar ou de outra forma ) requer planejamento e resistência. Aqui está um guia útil para quantidades de alimentos e segurança alimentar, e conselhos sobre a organização de uma festa de potluck. Planejando para potlucks A forma mais comum de comestibles de grupo é uma festa de potluck - qual é a maneira mais barata e fácil de ...

Anatomia do Penis humano - dummies

Anatomia do Penis humano - dummies

Sabendo como as funções de um pénis podem fornecer uma visão útil do sexo e do corpo humano - se você quer entender o pénis e a anatomia masculina melhor ou aprender sobre isso pela primeira vez. Basicamente, um pênis é composto de três estruturas, que são feitas de um material esponjoso que pode preencher com sangue: ...

Escolha dos editores

Como lidar com outliers causados ​​por Forças externas - manequins

Como lidar com outliers causados ​​por Forças externas - manequins

Certifique-se de verificar atentamente os outliers antes eles influenciam sua análise preditiva. Os outliers podem distorcer a análise de dados e dados. Por exemplo, qualquer análise estatística feita com dados que deixa outliers no lugar acaba por desviar os meios e variâncias. Os outliers não controlados ou mal interpretados podem levar a conclusões falsas. Diga os seus dados que ...

Como criar um modelo de análise preditiva com regressão R - manequins

Como criar um modelo de análise preditiva com regressão R - manequins

Você deseja criar um preditivo modelo de análise que você pode avaliar usando resultados conhecidos. Para fazer isso, vamos dividir nosso conjunto de dados em dois conjuntos: um para treinar o modelo e outro para testar o modelo. Uma divisão 70/30 entre treinamento e testes de conjuntos de dados será suficiente. As próximas duas linhas de código ...

Como definir objetivos de negócios para um modelo de análise preditiva - dummies

Como definir objetivos de negócios para um modelo de análise preditiva - dummies

Um modelo de análise preditiva visa resolvendo um problema comercial ou realizando um resultado comercial desejado. Esses objetivos comerciais se tornam os objetivos do modelo. Conhecer aqueles garante o valor comercial do modelo que você constrói - o que não deve ser confundido com a precisão do modelo. Hipotéticamente, você pode construir um modelo preciso para ...