Vídeo: Zero to App: Develop with Firebase - Google I/O 2016 2024
Na maioria das situações, o dois serviços de middleware - seleção e extração e garantia de qualidade - ocorrem na mesma plataforma (sistema) em que reside a fonte de dados. Se o seu data warehouse for hospedado em uma plataforma diferente da fonte de dados, você deve usar um serviço de movimento de dados para efetuar a transferência de dados do sistema para o sistema.
Você provavelmente pode usar um serviço relativamente simples (manipulado por um simples programa de transferência de arquivos, por exemplo). O serviço de movimento, se você precisar disso neste momento, simplesmente move os dados do QA no ambiente em que você planeja fazer transformações adicionais.
Se você estiver fazendo sua transformação e processamento de QA em uma plataforma diferente da plataforma na qual você executa seu data warehouse de produção (em um servidor de desenvolvimento, por exemplo, em vez de no servidor operacional), você deve executar mais um serviço de movimento de dados para obter os dados para o local onde deseja que ele permaneça eventualmente. Esse processo geralmente envolve apenas uma transferência de arquivos relativamente simples.
O serviço de carregamento de dados carrega os dados extraídos, QA'd, transformados e re-QA'd em seu armazém. Você pode carregar dados através de um programa personalizado, SQL (uma instrução INSERT, por exemplo) ou um utilitário.
Se você precisar carregar um grande volume de dados, tente usar um utilitário de carregamento rápido, o que geralmente envolve muito menos tempo do que uma abordagem programática ou baseada em SQL.
Se você usar o SQL para carregar seus dados em um banco de dados relacional, tente fazer o carregamento o mais eficiente possível desligando o log (se o seu produto DBMS o permitir). Se o trabalho de carregamento for anormalmente encerrado, você precisará usar a instrução DROP ou TRUNCATE para eliminar sua tabela parcialmente carregada, corrigir o problema que causou o término e reiniciar o trabalho.
Este processo geralmente é muito mais rápido do que se você ativar as instalações necessárias para dados de estilo OLTP e integridade da transação (com despesas gerais).
