A evolução da computação distribuída para grandes dados - manequins

Por trás de todas as tendências importantes na última década, incluindo orientação de serviços, computação em nuvem, virtualização e grandes dados, é uma tecnologia fundamental chamada computação distribuída. Simplificando, sem distribuir computação, nenhum desses avanços seria possível.

A computação distribuída é uma técnica que permite que computadores individuais sejam conectados em rede em áreas geográficas como se fossem um único ambiente. Você encontra muitas implementações diferentes de computação distribuída. Em algumas topologias, as entidades de computação individuais simplesmente passam mensagens umas para as outras.

Em outras situações, um ambiente de computação distribuída pode compartilhar recursos que vão de memória a redes e armazenamento. Todos os modelos de computação distribuída possuem um atributo comum: são um grupo de computadores em rede que trabalham juntos para executar uma carga de trabalho ou processo.

DARPA e grandes dados

O modelo de computação distribuída mais conhecido, a Internet, é a base para tudo, desde o comércio eletrônico até a computação em nuvem para o gerenciamento de serviços e a virtualização. A Internet foi concebida como um projeto de pesquisa financiado pela U. S. DARPA.

Foi projetado para criar um sistema de rede de interconexão que apoiaria pesquisas não comerciais, colaborasse entre cientistas. Nos primeiros dias da internet, esses computadores eram freqüentemente conectados por linhas telefônicas! A menos que você tenha experimentado essa frustração, você só pode imaginar quão lentas e frágeis foram essas conexões.

À medida que a tecnologia amadurecia na próxima década, protocolos comuns como o Protocolo de Controle de Transmissão (TCP) ajudaram a proliferar a tecnologia e a rede. Quando o Protocolo de Internet (IP) foi adicionado, o projeto passou de uma rede fechada para uma coleção de cientistas para uma plataforma potencialmente comercial para transferir e-mails em todo o mundo.

Ao longo da década de 1980, novos serviços baseados na Internet começaram a surgir no mercado como uma alternativa comercial à rede DARPA. Em 1992, o Congresso da U. S. passou pela Scientific and Advanced-Technology Act que, pela primeira vez, permitiu o uso comercial dessa poderosa tecnologia de rede. Com o seu contínuo crescimento explosivo, a Internet é verdadeiramente uma rede distribuída global e continua sendo o melhor exemplo do poder da computação distribuída.

O valor de um modelo de dados grande consistente

Que diferença esse esforço liderado pela DARPA fez no movimento para a computação distribuída?Antes da comercialização da Internet, havia centenas de empresas e organizações criando uma infra-estrutura de software destinada a fornecer uma plataforma comum para suportar um ambiente de computação altamente distribuído.

No entanto, cada fornecedor ou organização de padrões criou suas próprias chamadas de procedimentos remotos (RPCs) que todos os clientes, desenvolvedores de software comercial e parceiros teriam que adotar e suportar. O RPC é um mecanismo primitivo usado para enviar trabalho para um computador remoto e, geralmente, exige aguardar o trabalho remoto para concluir antes que outro trabalho possa continuar.

Com os fornecedores que implementam RPCs proprietários, tornou-se impraticável imaginar que qualquer empresa poderia criar um padrão universal para computação distribuída. Em meados da década de 1990, os protocolos da Internet substituíram essas abordagens primitivas e tornaram-se a base para o que hoje é a computação distribuída. Depois que isso foi resolvido, os usos desta abordagem da computação em rede começaram a florescer.