Camada 0 da grande pilha de dados: infra-estrutura física redundante - manequins

No nível mais baixo da grande pilha de dados é a infra-estrutura física. Sua empresa já pode ter um data center ou fazer investimentos em infra-estruturas físicas, então você vai querer encontrar uma maneira de usar os ativos existentes.

As implementações de dados grandes têm requisitos muito específicos em todos os elementos da arquitetura de referência, então você precisa examinar esses requisitos numa base camada a camada para garantir que sua implementação seja executada e dimensionada de acordo com as demandas de sua empresa.

Uma lista priorizada de princípios de dados importantes deve incluir declarações sobre o seguinte:

• Desempenho: Qual a resposta necessária para que o sistema seja? O desempenho, também chamado de latência, é geralmente medido de ponta a ponta, com base em uma única transação ou pedido de consulta.

• Disponibilidade: Precisa de uma garantia de serviço de 100% de tempo de serviço? Por quanto tempo sua empresa pode esperar no caso de uma interrupção ou falha no serviço?

• Escalabilidade: Quão grande a sua infra-estrutura precisa ser? Quanto espaço em disco é necessário hoje e no futuro? Quanta potência de computação você precisa? Normalmente, você precisa decidir o que precisa e depois adicionar uma pequena escala para desafios inesperados.

• Flexibilidade: Com que rapidez você pode adicionar mais recursos à infra-estrutura? Quão rápido sua infra-estrutura pode se recuperar de falhas?

• Custo: O que você pode pagar? Como a infra-estrutura é um conjunto de componentes, você poderá comprar a "melhor rede" e decidir economizar dinheiro no armazenamento. Você precisa estabelecer requisitos para cada uma dessas áreas no contexto de um orçamento geral e, em seguida, fazer compensações quando necessário.

Como os grandes dados são tudo sobre a variedade de alta velocidade, alto volume e alta, a infra-estrutura física literalmente irá "fazer ou quebrar" a implementação. A maioria das grandes implementações de dados precisam estar altamente disponíveis, de modo que as redes, servidores e armazenamento físico devem ser resilientes e redundantes. A resiliência e a redundância estão inter-relacionadas.

Uma infra-estrutura, ou um sistema, é resiliente a falhas ou mudanças quando recursos redundantes suficientes estão instalados, prontos para entrar em ação. A redundância garante que esse mau funcionamento não causará uma interrupção. A resiliência ajuda a eliminar pontos únicos de falha em sua infraestrutura.

Em grandes centros de dados com requisitos de continuidade de negócios, a maior parte da redundância está em vigor e pode ser alavancada para criar um grande ambiente de dados.Em novas implementações, os designers têm a responsabilidade de mapear a implantação para as necessidades do negócio com base em custos e desempenho.

Isso significa que a complexidade técnica e operacional está mascarada por trás de uma coleção de serviços, cada um com termos específicos para desempenho, disponibilidade, recuperação e assim por diante. Esses termos são descritos em acordos de nível de serviço (SLAs) e geralmente são negociados entre o provedor de serviços e o cliente, com penalidades por incumprimento.

Com efeito, isso cria um centro de dados virtual. Mesmo com essa abordagem, você ainda deve saber o que é necessário para criar e executar uma grande implantação de dados para que você possa fazer as seleções mais apropriadas das ofertas de serviços disponíveis. Apesar de ter um SLA, sua organização ainda tem a responsabilidade final pelo desempenho.

Redes de dados grandes redundantes físicas

As redes devem ser redundantes e devem ter capacidade suficiente para acomodar o volume e velocidade antecipados dos dados de entrada e saída, além do tráfego de rede "normal" experimentado pelo negócio. À medida que você começa a fazer grandes dados uma parte integrante da sua estratégia de computação, é razoável esperar que o volume ea velocidade aumentem.

Os criadores de infra-estrutura devem planejar esses aumentos esperados e tentar criar implementações físicas que sejam "elásticas". "À medida que o tráfego de rede cai e flui, o mesmo acontece com o conjunto de ativos físicos associados à implementação. Sua infraestrutura deve oferecer recursos de monitoramento para que os operadores possam reagir quando são necessários mais recursos para abordar as mudanças nas cargas de trabalho.

Gerenciar hardware de dados grande: armazenamento e servidores

Da mesma forma, os recursos de hardware (armazenamento e servidor) devem ter velocidade e capacidade suficientes para lidar com todos os grandes recursos de dados esperados. É de pouca utilidade para ter uma rede de alta velocidade com servidores lentos, porque os servidores provavelmente se tornarão um gargalo. No entanto, um conjunto muito rápido de servidores de armazenamento e computação pode superar o desempenho variável da rede. Claro, nada funcionará corretamente se o desempenho da rede for pobre ou não confiável.

Grandes operações de infraestrutura de dados

Outra consideração de projeto importante é o gerenciamento de operações de infraestrutura. Os maiores níveis de desempenho e flexibilidade estarão presentes apenas em um ambiente bem gerenciado. Os gerentes do centro de dados precisam ser capazes de antecipar e prevenir falhas catastróficas para que a integridade dos dados e, por extensão, os processos de negócios sejam mantidos. As organizações de TI muitas vezes ignoram e, portanto, estão subinvestidas nesta área.