Middleware para Data Warehousing - dummies

Middleware é um software que conecta componentes de software. Em um ambiente de armazenamento de dados, os serviços de middleware são o conjunto de programas e rotinas que fazem o seguinte:

• Puxe dados da fonte (ou fontes).

• Certifique-se de que os dados estão corretos.

• Mova os dados em torno do ambiente de plataforma para plataforma, conforme necessário.

• Controlar as transformações de dados necessárias.

• Carregue os dados no banco de dados do banco de dados (ou bancos de dados).

Em um sentido mais formal, os itens da lista anterior são tratados por esses serviços de middleware:

• Seleção de dados e extração

• Garantia de qualidade de dados, parte I (no nível de componente)

• Movimento de dados, parte I (também no nível do componente)

• Mapeamento e transformação de dados

• Garantia da qualidade dos dados, parte II (após a transformação ter ocorrido)

• Movimento de dados, parte II (no ambiente de plataforma do data warehouse)

• Carregamento de dados (no data warehouse) > Esta figura ilustra como esses serviços de middleware funcionam juntos em um ambiente de data warehousing de tamanho moderado.

Mas o seu ambiente de data warehousing pode ser diferente do mostrado nesta figura, particularmente na área dos serviços de movimento de dados. Um serviço de movimento de dados é necessário sempre que os dados cruzam os limites do sistema. Sua imagem conceitual difere, dependendo dos detalhes do seu ambiente particular de ponta a ponta.

Você precisa, de forma positiva, planejar, projetar e, de qualquer forma, pensar sobre o middleware do data warehouse em termos de serviços individuais na lista anterior, em vez de em termos genéricos, como "ferramentas de extração". "Muitos fornecedores diferentes fornecem alguns, muitos ou todos esses serviços como parte de um único produto ou um conjunto de produtos.

Mas, por exemplo, uma ferramenta que possui serviços de mapeamento e transformação fortes pode ser fraca em serviços de carregamento de dados, ou uma ferramenta que fornece um conjunto rico de serviços de extração pode ser menos efetiva no espaço de mapeamento e transformação. para garantia de qualidade de dados.

Antes de selecionar uma ferramenta para seu projeto de data warehousing (se essa for a rota que você toma, em vez de codificação personalizada), certifique-se de ter uma boa idéia sobre os desafios específicos em seu ambiente. Se você tem necessidades relativamente simples de extração de dados, por exemplo, mas desafiantes problemas de qualidade de dados, concentre-se em encontrar a melhor ferramenta de garantia de qualidade disponível, mesmo que tenha apenas recursos de extração tão saudáveis.

(Este conselho aplica-se mesmo se a ferramenta não tiver recursos de extração, caso em que você deve combiná-lo com outra ferramenta.)