Gerenciar a virtualização para grandes dados - dummies

A virtualização separa recursos e serviços do subjacente ambiente de entrega física, permitindo que você crie muitos sistemas virtuais dentro de um único sistema físico. Uma das principais razões pelas quais as empresas implementaram a virtualização é melhorar o desempenho e a eficiência do processamento de uma combinação diversificada de carga de trabalho

O grande hypervisor de dados

Em um mundo ideal, você não quer se preocupar com o subjacente sistema operacional e o hardware físico. Um hypervisor é a tecnologia responsável por garantir que o compartilhamento de recursos ocorra de forma ordenada e repetitiva.

O hypervisor fica nos níveis mais baixos do ambiente de hardware e usa uma camada fina de código para permitir o compartilhamento de recursos dinâmicos. O hipervisor faz parecer que cada sistema operacional possui os recursos físicos para si próprio.

No mundo dos grandes dados, você precisará suportar muitos ambientes operacionais diferentes. O hipervisor torna-se um mecanismo de entrega ideal para os componentes de tecnologia da grande pilha de dados. O hypervisor permite que você mostre o mesmo aplicativo em muitos sistemas sem ter que copiar fisicamente esse aplicativo em cada sistema.

Como benefício adicional, devido à arquitetura do hipervisor, ele pode carregar qualquer sistema operacional diferente como se fosse apenas outro aplicativo. Então, o hypervisor é uma maneira muito prática de tornar as virtuas virtualizadas de forma rápida e eficiente.

Os sistemas operacionais convidados são os sistemas operacionais em execução nas máquinas virtuais. Com a tecnologia de virtualização, você pode configurar o hypervisor para dividir os recursos do computador físico. Os recursos podem ser divididos 50/50 ou 80/20 entre dois sistemas operacionais convidados, por exemplo.

A beleza deste arranjo é que o hipervisor faz todo o levantamento pesado. O sistema operacional convidado não se importa que ele esteja sendo executado em uma partição virtual; Ele acha que tem um computador para si mesmo.

Você encontra basicamente dois tipos de hypervisors:

• Tipo 1 hypervisors executados diretamente na plataforma de hardware. Eles conseguem maior eficiência porque estão executando diretamente na plataforma.

• Tipo 2 hypervisors são executados no sistema operacional host. Eles geralmente são usados ​​quando existe uma necessidade para suportar uma ampla gama de dispositivos de E / S.

Abstracção e grande virtualização de dados

Para que os recursos e serviços de TI sejam virtualizados, eles são separados do ambiente de entrega física subjacente.O termo para este ato de separação é chamado abstração. A abstração é um conceito-chave em grandes dados. MapReduce e Hadoop são ambientes de computação distribuída onde tudo é abstraído. O detalhe é extraído para que o desenvolvedor ou analista não precise se preocupar com onde os elementos de dados estão localizados.

A abstração minimiza a complexidade de algo escondendo os detalhes e fornecendo apenas a informação relevante. Por exemplo, se você fosse pegar uma pessoa a quem você nunca conheceu antes, ele pode dizer-lhe o local para conhecê-lo e o que ele usará. Ele não precisa dizer-lhe onde ele nasceu, quanto dinheiro ele tem no banco, sua data de nascimento e assim por diante.

Essa é a idéia com abstração - trata-se de fornecer uma especificação de alto nível ao invés de entrar em muitos detalhes sobre como algo funciona.

Implementar virtualização para trabalhar com dados grandes

A virtualização ajuda a tornar seu ambiente de TI suficientemente inteligente para lidar com grandes análises de dados. Ao otimizar todos os elementos da sua infra-estrutura, incluindo hardware, software e armazenamento, você ganha a eficiência necessária para processar e gerenciar grandes volumes de dados estruturados e desestruturados. Com grandes dados, você precisa acessar, gerenciar e analisar dados estruturados e desestruturados em um ambiente distribuído.

Dados importantes assumem a distribuição. Na prática, qualquer tipo de MapReduce funcionará melhor em um ambiente virtualizado. Você precisa de capacidade para mover as cargas de trabalho em função dos requisitos de energia e armazenamento de computação.

A virtualização permitirá que você enfrente problemas maiores que ainda não foram dimensionados. Você pode não saber antecipadamente com que rapidez você precisará escalar.

A virtualização permitirá que você suporte uma variedade de grandes lojas de dados operacionais. Por exemplo, um banco de dados de gráfico pode ser girado como uma imagem.

O benefício mais direto da virtualização é garantir que os mecanismos MapReduce funcionem melhor. A virtualização resultará em melhor escala e desempenho para MapReduce. Cada uma das tarefas Mapa e Reduzir precisa ser executada de forma independente. Se o motor MapReduce estiver paralelizado e configurado para executar em um ambiente virtual, você pode reduzir a sobrecarga de gerenciamento e permitir expansões e contrações nas cargas de trabalho da tarefa.

MapReduce é inerentemente paralelo e distribuído. Ao encapsular o motor MapReduce em um recipiente virtual, você pode executar o que você precisa sempre que precisar. Com a virtualização, você aumenta sua utilização dos ativos que você já pagou, transformando-os em conjuntos genéricos de recursos.