Vídeo: Gerenciador de Tarefas e Monitor de Recursos no Windows 7, 10 - Monitorando o Sistema 2024
O componente principal do YARN (Yet Another Resource Negotiator) é o Resource Manager, que rege todos os recursos de processamento de dados no cluster Hadoop. Simplificando, o Resource Manager é um programador dedicado que atribui recursos aos pedidos de aplicativos. Suas únicas tarefas são manter uma visão global de todos os recursos no cluster, lidar com solicitações de recursos, agendar o pedido e, em seguida, atribuir recursos ao aplicativo solicitante.
O Resource Manager, um componente crítico em um cluster Hadoop, deve ser executado em um nó mestre dedicado.
Embora o Gerenciador de Recursos seja basicamente um planejador puro, ele depende dos módulos do agendador para a lógica de programação real. Você pode escolher entre os mesmos agendadores que estavam disponíveis no Hadoop 1, que foram atualizados para funcionar com o YARN: FIFO (primeiro dentro, primeiro fora), Capacidade ou Fair Share.
O Gerenciador de Recursos é completamente agnóstico em relação a aplicações e frameworks - não tem cães nessas caças particulares, em outras palavras. Não tem conceito de mapa ou redução de tarefas, não rastreia o progresso dos trabalhos ou suas tarefas individuais, e não trata os failover.
Em suma, o Resource Manager é uma partida completa do daemon JobTracker para ambientes Hadoop 1. O que o Gerenciador de Recursos faz é agendar cargas de trabalho, e ele faz esse trabalho bem.
Este alto grau de separação de funções - concentrando-se em um aspecto ao ignorar tudo o resto - é exatamente o que faz YARN muito mais escalável, capaz de fornecer uma plataforma genérica para aplicativos e capaz de suportar um > multi-tenant Hadoop cluster - multi-tenant porque diferentes unidades de negócios podem compartilhar o mesmo cluster Hadoop.
