Vídeo: Data Warehouse Tutorial For Beginners | Data Warehouse Concepts | Data Warehousing | Edureka 2025
Ao redor de 1995, os fornecedores começaram a posicionar seu software como ferramentas virtuais de armazenamento de dados. A premissa fundamental era que, às vezes, não faz sentido copiar e manipular um monte de dados, apenas no caso de alguém precisar disso. Por que não acessar os dados diretamente da fonte, conforme necessário?
Infelizmente, o acesso a dados através de uma rede em sua fonte provou ser o menos desafiador dos problemas ao tentar fornecer um tipo de armazenamento de dados no local. Os mesmos desafios enfrentados em qualquer ambiente de data warehousing (como lidar com a qualidade dos dados, decidir quais os tipos de transformações devem ocorrer e escolher como lidar com essas transformações quando diferentes fontes são inconsistentes) ainda estão presentes.
Apenas porque você pode obter dados em sua fonte (em quase qualquer banco de dados ou estrutura de arquivos) não significa que os dados fornecem a inteligência comercial necessária quando estiver em suas mãos.
Para resolver esses problemas de qualidade de dados, muitos arquitetos de dados começaram a realizar a construção de dados de base ascendente para desenvolver um data warehouse baseado em componentes. Em vez de ter um único banco de dados no qual você alimente todos os dados (criando seu data warehouse), uma série de componentes cada manipula um determinado conjunto de funções (como responder a questões comerciais específicas) ou certos assuntos. Juntos, esses dados marts (ou componentes) compreendem um ambiente de data warehousing.
Esta arquitetura de dados de acesso dinâmico baseada em componentes é a base para o armazenamento de dados virtuais e, mais especificamente, quais servidores Enterprise Integration Information Integration (EII) estão oferecendo ao mercado.
Esta figura mostra um ambiente no qual componentes individuais são criados dentro do ambiente de armazenamento de dados de forma ascendente. Em vez de combinar os componentes em um grande banco de dados (e copiar todos os dados novamente), a EII cria um ambiente de data warehousing no qual os usuários podem acessar os conteúdos de cada componente a partir de uma ferramenta de business intelligence, como todos eles foram armazenados juntos, mesmo que não sejam.
Pense em como você usa um navegador da Web em sua área de trabalho. Você quer clicar em um link ou digitar um URL específico, e o ambiente, trabalhando nos bastidores, leva você ao lugar certo para o conteúdo solicitado. Agora, imagine a Internet funcionar muito mais rápido.
Quando você vai para vários sites, você não está acessando anúncios para a última roda nas quatro rodas que você tem cobiçado, pontuação esportiva, desenhos animados de Dilbert ou qualquer outra coisa que você faz na Internet.Você está trazendo de volta peças de dados que são combinadas e enviadas de volta ao seu navegador. Isso é armazenamento de dados virtual - é exatamente como a Internet!
Não é uma boa idéia criar um ambiente de armazenamento de dados virtual para acessar dados de origem diretamente, em seu formato nativo. O seu desafio não é descobrir como juntar bases de dados entre plataformas (combinar dados IMS com dados do DB2, por exemplo) e lidar com esses tipos de transformação no nível do sistema, é garantir que a qualidade dos dados seja alta e não requer o usuário para limpar manualmente os dados.
Cada aplicativo deve, portanto, ser habilitado para armazenar e conter um editor de dados responsável por todos os serviços de middleware (como extração e garantia de qualidade), conforme especificado nas regras de negócios do ambiente.
O editor de dados poderia funcionar quase em modo em tempo real, como deveria fazer em um armazenamento de dados operacional, ou poderia funcionar em um modo periódico (orientado para o lote) se não forem necessárias atualizações instantâneas. Nessa situação, o editor de dados é um produto de mini-middleware incorporado no aplicativo (ou um serviço acessado pela aplicação).
Quando você pensa em armazenar dados virtuais, substitua a pergunta "Posso obter os dados? "Com a pergunta" Posso obter dados utilizáveis? "O editor de dados desempenha um papel importante e não deve ser negligenciado.
Você também não pode negligenciar a arquitetura de dados. Apenas porque você está desenvolvendo componentes de forma ascendente e eles estão sendo acessados no lugar, em vez de serem copiados para um banco de dados de armazenamento de dados maior, isso não significa que você possa negligenciar essa função.
Diga que um componente armazena IDs de clientes como números de cinco dígitos após a transformação e contém apenas clientes que fizeram compras nos últimos seis meses. E outro componente, que contém todos os clientes que já compraram produtos da sua empresa, usa identificadores alfanuméricos de sete caracteres. Nessa situação, você pode ter o mesmo tipo de problemas de incompatibilidade de dados que você faria se você acessasse dados diretamente das fontes.
Embora o EII permita diferenças entre os conteúdos dos componentes, você deve entender e gerenciar as diferenças para que você não impede a missão de inteligência de negócios.
