A Criação de Grandes Estruturas de Dados Geríveis - dummies

À medida que a computação se movia para o mercado comercial, os dados foram armazenados em arquivos planos que não impunham nenhuma estrutura. Hoje, grandes dados requer estruturas de dados gerenciáveis. Quando as empresas precisavam chegar a um nível de compreensão detalhada sobre os clientes, eles tiveram que aplicar métodos de força bruta, incluindo modelos de programação muito detalhados para criar algum valor.

Mais tarde, na década de 1970, as coisas mudaram com a invenção do modelo de dados relacionais e do sistema de gerenciamento de banco de dados relacional (RDBMS) que impôs a estrutura e um método para melhorar o desempenho. Mais importante ainda, o modelo relacional adicionou um nível de abstração para que fosse mais fácil para os programadores satisfazer as demandas crescentes do negócio para extrair o valor dos dados.

O modelo relacional ofereceu um ecossistema de ferramentas de um grande número de empresas de software emergentes. Ele encheu uma necessidade crescente de ajudar as empresas a organizar melhor seus dados e a poder comparar as transações de uma geografia para outra.

Além disso, ajudou os gerentes de negócios que queriam poder examinar informações como inventário e compará-lo com a informação da ordem do cliente para fins de tomada de decisão. Mas surgiu um problema dessa demanda explodida de respostas: armazenar esse crescente volume de dados foi caro e o acesso a ele foi lento. Para piorar as coisas, existiam muitas duplicações de dados, e o valor comercial real desses dados era difícil de medir.

Quando o volume de dados que as organizações precisavam gerenciar surgiu fora de controle, o data warehouse forneceu uma solução. O data warehouse permitiu que a organização de TI selecionasse um subconjunto dos dados armazenados para que fosse mais fácil para a empresa tentar obter informações.

O data warehouse destinava-se a ajudar as empresas a lidar com quantidades cada vez maiores de dados estruturados que precisavam ser capazes de analisar, reduzindo o volume de dados para algo menor e mais focado em uma determinada área do negócio. Ele preenchia a necessidade de separar o processamento do suporte à tomada de decisão operacional e o suporte à decisão - por motivos de desempenho.

Os armazéns geralmente armazenam dados de anos anteriores para entender o desempenho organizacional, identificar tendências e ajudar a expor padrões de comportamento. Ele também forneceu uma fonte integrada de informações de várias fontes de dados que poderiam ser usadas para análise. Hoje, tanto os sistemas de gerenciamento de conteúdo quanto os data warehouses podem aproveitar as melhorias na escalabilidade de hardware, tecnologias de virtualização e a capacidade de criar sistemas integrados de hardware e software.

Às vezes, esses armazéns de dados eram muito complexos e grandes e não ofereciam velocidade e agilidade que o negócio exigia. A resposta foi um refinamento adicional dos dados sendo gerenciados por data marts. Esses mercados de dados foram focados em questões comerciais específicas e apoiaram a necessidade de negócios para consultas rápidas. O armazém evoluiu para suportar tecnologias emergentes, como sistemas integrados e dispositivos de dados.

Os data warehouses e data marts resolveram muitos problemas para as empresas que necessitavam de uma maneira consistente de gerenciar dados transacionais maciços. Mas quando se trata de gerenciar enormes volumes de dados não estruturados ou semi-estruturados, o armazém não conseguiu evoluir o suficiente para atender às demandas em mudança.

Para complicar as questões, os armazéns de dados normalmente são alimentados em intervalos de lote, geralmente semanalmente ou diariamente. Isso é bom para planejamento, relatórios financeiros e campanhas de marketing tradicionais, mas é muito lento para ambientes de negócios e consumidores cada vez mais em tempo real.

Como as empresas poderiam transformar suas abordagens tradicionais de gerenciamento de dados para lidar com o volume em expansão de elementos de dados não estruturados? A solução não surgiu durante a noite. À medida que as empresas começaram a armazenar dados não estruturados, os fornecedores começaram a adicionar recursos como BLOBs (objetos binários grandes).

Em essência, um elemento de dados não estruturado seria armazenado em um banco de dados relacional como um pedaço contíguo de dados. Este objeto pode ser rotulado, mas você não conseguiu ver o que estava dentro desse objeto. Claramente, isso não iria resolver a mudança de necessidades de clientes ou empresas.

Digite o sistema de gerenciamento de banco de dados do objeto (ODBMS). O banco de dados do objeto armazenou o BLOB como um conjunto de peças endereçáveis ​​para que você pudesse ver o que estava lá. Ao contrário do BLOB, que era uma unidade independente anexada a um banco de dados relacional tradicional, o banco de dados de objetos forneceu uma abordagem unificada para lidar com dados não estruturados.

Os bancos de dados de objetos incluem uma linguagem de programação e uma estrutura para os elementos de dados para que seja mais fácil manipular vários objetos de dados sem programação e juntas complexas. Os bancos de dados de objetos introduziram um novo nível de inovação que ajudou a gerar a segunda onda de gerenciamento de dados.