Middleware Services: Seleção de dados e extrações - dummies

O objetivo principal do serviço de seleção de dados e extração é selecionar de (encontrar) uma fonte de dados os dados que você deseja mover para o data warehouse e, em seguida, extrair (retirar) esses dados em um formulário que pode ser preparado para serviços de garantia de qualidade.

Você pode usar um dos dois tipos diferentes de serviços de seleção e extração para seu ambiente de data warehousing:

• Obtenha-os todos e classifique-os mais tarde: Encontre e extraia todos os elementos de dados em uma fonte que você deseja carregar em seu data warehouse, independentemente de um elemento específico ter foi extraído anteriormente.

• Orientado para a mudança: Encontre e extraia apenas os elementos de dados que foram adicionados recentemente à fonte de dados ou atualizados desde a última extração.

O primeiro tipo de serviço requer uma lógica menos complexa para realizar a extração. Mas você precisa lidar com volumes maiores (às vezes, volumes maiores) de dados do que com o segundo tipo, o serviço orientado para mudanças.

O método de seleção e extração orientado para a mudança é bastante direto quando sua fonte é um banco de dados relacional que possui um carimbo de data / hora que você pode usar para detectar quando uma linha de dados foi adicionada ou atualizada pela última vez.

Você pode comparar uma linha de dados com a data e hora do último processo de extração para determinar se os dados precisam ser selecionados e extraídos. Mas quando os dados são armazenados em um arquivo que não possui um carimbo de data / hora (um arquivo VSAM, por exemplo), esse processo pode ser significativamente mais difícil.

Você também pode enfrentar um desafio quando os dados de origem foram excluídos de um arquivo ou de um banco de dados. Se as regras de negócios para o seu ambiente de data warehousing exigir a exclusão de dados correspondentes do armazém, você deve ter uma maneira de detectar apagamentos que foram feitos desde o último processo de extração para garantir que sejam feitas exclusões apropriadas no seu armazém.

O resultado da seleção e extração é, bem, um extracto de dados que está pronto para ser submetido a processamento adicional: verificando a qualidade dos dados.