Vídeo: Video Aula 001 - IBM Integration BUS - CRUD 2024
Esta figura mostra um ambiente em que os dados são extraídos de três fontes de dados diferentes para inclusão em um data warehouse e cada uma das três fontes está em uma plataforma diferente. Em algum momento do processo de middleware, esses extratos QA'd devem ser reunidos para um processo combinado de mapeamento e transformação.
O serviço de mapeamento e transformação lida com problemas clássicos de armazenamento de dados. Suponha que uma fonte de dados armazene clientes usando uma ID de cliente de cinco caracteres e outra fonte usa um identificador de cliente numérico de seis dígitos.
Para permitir comparações e outro processamento de data warehouse, você precisa de um método comum de identificação do cliente: um dos esquemas de identificação deve ser convertido para o outro, ou talvez um terceiro sistema de identificação neutra, dependendo das características do ambiente.
Além de lidar com incompatibilidades entre sistemas, transformações adicionais podem incluir
-
Resumo de dados: Um resumo pode ser realizado anteriormente no processo, antes do movimento do sistema cruzado, dependendo da peculiaridades do seu ambiente específico de armazenagem de dados.
-
Inclusão seletiva de dados: Você pode incluir registros de apenas uma fonte de dados, por exemplo, se você receber um registro comparável de outro extrato. Você não sabe, até que você converge todas as contribuições da fonte de dados, como as regras de inclusão seletiva são aplicadas.
-
Convergência de dados: Certos elementos de uma fonte de dados são combinados com elementos de outra fonte para criar um registro unificado para cada cliente, produto, contrato ou qualquer tipo de dados que você está lidando com.
O principal ponto a lembrar sobre o serviço de mapeamento e transformação é que você deve ter, na sua conclusão, um conjunto unificado de dados pronto para carregar no data warehouse - assim que você completar mais alguns passos.
Em ambientes de armazenamento de dados complexos, você pode querer considerar processos de transformação múltipla. Conforme mostrado nesta figura, por exemplo, os extratos de dados convergem em vários níveis diferentes de transformação antes de avançar mais para baixo na tubulação de middleware, permitindo que você aplique mais potência no processo de transformação usando vários servidores no início do fluxo.
