Data Warehouse Lite - dummies

Um data warehouse lite é uma abordagem sem frescura, bare-bones, low-tech para fornecer dados que podem ajudar com alguns dos sua decisão de negócios. Sem brincadeiras significa que você juntou, sempre que possível, recursos comprovados e ferramentas já existentes em sua organização para criar seu sistema.

Áreas temáticas e conteúdo de dados de um data warehouse lite

A data warehouse lite é focada na análise ou relatório de apenas uma ou possivelmente duas áreas temáticas. Suponha que em seu trabalho em uma divisão sem fio de uma companhia de telefone, você analisa as vendas de serviços, como minutos dentro da rede, minutos fora da rede, mensagens de texto, acesso à Internet e outros usos móveis para famílias de consumidores.

Se você construir uma lite de data warehouse exclusivamente para esse fim, você possui todas as informações necessárias para suportar suas análises e relatórios para o mercado consumidor. Você não possui nenhuma informação sobre usuários de empresas e histórico de pagamentos, no entanto, porque essa informação faz parte de uma área de assunto diferente, conforme mostrado nesta figura.

Com base na limitação da área de assunto, uma lite de data warehouse tem apenas conteúdo de dados suficiente para satisfazer o objetivo principal do meio ambiente, mas não o suficiente para muitos cenários que não são estruturados, que os usuários podem criar.

Você deve escolher cuidadosamente, portanto, entre o conjunto de todos os elementos de dados possíveis e selecionar um subconjunto gerenciável - elementos que, sem dúvida, são importantes para ter. Este processo é o mesmo para qualquer implementação de data warehouse, exceto que você deve ser extremamente disciplinado quando você está tomando decisões sobre o conteúdo a ser incluído.

Use relatórios padrão, particularmente aqueles que atualmente exigem uma grande quantidade de preparação manual, como um dos principais guias para determinar o conteúdo de dados em uma lite de data warehouse.

Fontes de dados

Um data warehouse lite tem um conjunto limitado de fontes de dados - normalmente, um para um punhado. Como parte de um ambiente global de aplicação única, por exemplo, o data warehouse lite atua como agente de reestruturação para os dados do aplicativo para torná-lo mais consultivo e amigável ao relatório.

O meio mais comum de reestruturar os dados de um único aplicativo é desnormalizar o conteúdo das tabelas de banco de dados relacionais do aplicativo para eliminar quantas operações de associação relacional (o processo de reunir dados de mais de uma tabela de banco de dados) possível quando os usuários executam relatórios ou fazem consultas simples.

A desnormalização é o oposto do conceito de normalização do banco de dados relacional, um conjunto de diretrizes um tanto complexo que informa quais elementos de dados devem ser em quais tabelas em um banco de dados.

Quando você desmoraliza um banco de dados, não se preocupe com dados duplicados; você tenta criar linhas de dados em uma única tabela que provavelmente reflete os relatórios e consultas que os usuários executam. Esta figura mostra um exemplo de uma lite de data warehouse de fonte única baseada na desnormalização.

Embora você possa usar dados fornecidos externamente em uma implementação de data warehouse lite, os dados que você usa raramente são recém-adquiridos. É mais provável que incorpore dados que você já usa para análise (talvez de forma autônoma).

Ferramentas de inteligência de negócios

Os usuários de uma lite de data warehouse geralmente fazem perguntas e criam relatórios que refletem uma perspectiva "Conte-me o que aconteceu". Como esses usuários não fazem um processamento analítico muito pesado, os produtos que eles usam para acessar o data warehouse devem ser fáceis de usar.

Extração de dados, movimento e carregamento

Simplicidade é o nome do jogo em um data warehouse lite. Portanto, faça o processo de extração de dados de fontes e execute todas as funções necessárias para preparar esses dados para o carregamento o mais direto possível usando esses dois elementos:

• Extratos de arquivos simples dos sistemas de corrida e transferências de arquivos que permite que você mova dados de suas origens para o warehouse lite

• Código personalizado direto (ou talvez uma ferramenta fácil de usar) que possa extrair e mover os dados

Se a fonte de dados para o seu lite de data warehouse for construído em um banco de dados relacional e você está planejando usar o mesmo produto de banco de dados para seu data warehouse, use o SQL para gerenciar facilmente a extração de dados e o movimento. Essas etapas - como mostrado na figura - fornecem um procedimento padrão para este processo (você quer adaptar estas etapas para seu ambiente particular, é claro):

1. No sistema que abriga seu armazém, use o SQL CREATE TABLE declaração para criar a definição para cada tabela em seu data warehouse lite.

2. Crie um banco de dados backup que contenha cópias de todas as tabelas da fonte que fornecem dados ao armazém e, em seguida, recarregue essas tabelas em uma área de teste no sistema onde planeja localizar seu data warehouse.

   Você deve garantir que a largura de banda e a janela de tempo da rede sejam adequadas para copiar todas as tabelas de origem para o sistema usando um programa de transferência de arquivos.

3. Use a instrução SQL INSERT, com uma instrução SELECT aninhada, especificando as tabelas de origem e suas respectivas colunas que preencherão a tabela do data warehouse (e como as tabelas serão juntadas), para carregar os dados em seu data warehouse lite.

4. Execute uma série de rotinas de garantia de qualidade (QA) para verificar se todos os dados foram carregados corretamente.

   Verifique as contagens de linhas, totais numéricos e qualquer outra coisa que você possa.

   

Arquitetura

A arquitetura de um data warehouse lite é composta pelo banco de dados usado para armazenar os dados, as ferramentas de inteligência comercial front-end usadas para acessar os dados, a forma como os dados são movidos e a quantidade de assunto áreas.A palavra de ordem deste ambiente é minimalista: sem sinos, sem assobios, nada extravagante - apenas tecnologia suficiente aplicada ao meio ambiente para permitir aos usuários acessar os dados de que precisam.

A arquitetura de um data warehouse lite, conforme mostrado nesta figura, contém esses principais tipos de componentes:

• Um único banco de dados contém os dados do armazém.

• Esse banco de dados é alimentado diretamente de cada uma das fontes fornecendo dados para o armazém.

• Usuários acessam dados diretamente do armazém.