Vídeo: Asus Zenfone 4 Max - Dicas e truques 2024
Organizando serviços e ferramentas de dados , a camada 3 da grande pilha de dados, capturam, validam e agrupam vários grandes elementos de dados em contextualmente relevantes coleções. Como os grandes dados são enormes, as técnicas evoluíram para processar os dados de forma eficiente e transparente. MapReduce é uma técnica altamente utilizada. Basta dizer que muitos desses serviços de dados organizacionais são motores MapReduce, especificamente projetados para otimizar a organização de grandes fluxos de dados.
Organizar serviços de dados são, na realidade, um ecossistema de ferramentas e tecnologias que podem ser usadas para reunir e montar dados em preparação para processamento posterior. Como tal, as ferramentas precisam fornecer integração, tradução, normalização e escala. As tecnologias nesta camada incluem o seguinte:
-
Um sistema de arquivos distribuídos: Necessário para acomodar a decomposição de fluxos de dados e fornecer escala e capacidade de armazenamento
-
Serviços de serialização: Necessário para armazenamento persistente de dados e chamadas de procedimento remoto multilíngües (RPCs)
-
Serviços de coordenação: Necessário para a construção de aplicações distribuídas (bloqueio e assim por diante) > Ferramentas de extração, transformação e carga (ETL):
-
Necessário para o carregamento e conversão de dados estruturados e não estruturados no Hadoop Serviços de fluxo de trabalho:
-
Necessário para agendar tarefas e fornecer uma estrutura para sincronizar elementos de processo através de camadas
