Vídeo: Visual Studio Code o novo editor de texto queridinho dos Desenvolvedores 2024
Nos primeiros dias do armazenamento de dados, a maioria das organizações tratava serviços de middleware através de codificação personalizada, e não com o poucas ferramentas disponíveis no momento, como mostrado neste exemplo:
-
Uma organização escreve um programa em uma linguagem de programação, como COBOL, ou talvez em um ambiente como SAS, para lidar com os extratos de dados de uma fonte de dados mainframe e, em seguida, faça a verificação da qualidade e a transformação.
-
Um serviço de transferência de arquivos, como o FTP padrão (File Transfer Protocol), é usado para copiar os dados transformados e "limpos" para a máquina na qual o data warehouse irá residir.
-
SQL antigo simples ou um utilitário de carregamento em massa, é usado para carregar um banco de dados relacional com o conteúdo novo (ou atualizado) do data warehouse.
Nada está errado com esta abordagem programática. Sempre determine para o seu ambiente específico se a codificação personalizada ou as ferramentas são o caminho "certo". Não assume automaticamente que você deve implementar seu data warehouse usando ferramentas de middleware.
Mas sua equipe pode encontrar a replicação da lógica reutilizável na maioria das ferramentas de middleware muito caro. Além disso, você pode encontrar ferramentas de middleware open-source (gratuitas) disponíveis, tornando difícil o argumento de "economizar dinheiro usando recursos internos". Portanto, a maioria das implementações hoje são feitas usando as ferramentas Extract, Transform, e Load (ETL).