Comandos de administração do hadoop - dummies

Parte de Hadoop For Dummies Cheat Sheet

Qualquer administrador Hadoop que valha o seu sal deve dominar um conjunto abrangente de comandos para administração de cluster. A lista a seguir resume os comandos mais importantes, indicando o que o comando faz, bem como a sintaxe e exemplos. Conheça-os, e você avançará um longo caminho pelo caminho da sabedoria Hadoop.

• balanceador : Executa o utilitário de balanceamento de cluster. O valor limite especificado, que representa uma porcentagem da capacidade do disco, é usado para substituir o valor do limite padrão (10 por cento). Para interromper o processo de reequilíbrio, pressione Ctrl + C.

  Sintaxe: hadoop balancer [-threshold]

  Exemplo: hadoop balanceador-limite 20

• daemonlog : Obtém ou define o nível de log para cada daemon (também conhecido como serviço). Conecta-se a // host: port / logLevel? log = nome e imprime ou define o nível de log do daemon que está sendo executado no host: port. Os daemons Hadoop geram arquivos de log que o ajudam a determinar o que está acontecendo no sistema, e você pode usar o comando daemonlog para alterar temporariamente o nível de log de um componente Hadoop quando você está depurando o sistema. A alteração torna-se efetiva quando o daemon reinicia.

  Sintaxe: hadoop daemonlog -getlevel; hadoop daemonlog -setlevel

  Exemplo: hadoop daemonlog -getlevel 10. 250. 1. 15: 50030 org. apache. Hadoop. mapa. JobTracker; hadoop daemonlog -setlevel 10. 250. 1. 15: 50030 org. apache. Hadoop. mapa. JobTracker DEBUG

• datanode : Executa o serviço HDND DataNode, que coordena o armazenamento em cada nó escravo. Se você especificar -rollback, o DataNode será revertido para a versão anterior. Pare o DataNode e distribua a versão anterior do Hadoop antes de usar esta opção.

  Sintaxe: hadoop datanode [-rollback]

  Exemplo: hadoop datanode -rollback

• dfsadmin : Executa uma série de Hadoop Distributed File Operações administrativas do sistema (HDFS). Use a opção -help para ver uma lista de todas as opções suportadas. As opções genéricas são um conjunto comum de opções suportadas por vários comandos.

  Sintaxe: hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode digite | deixe | obter | aguarde] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | detalhes | force] [-metasave filename] [-setQuota …] [-clrQuota …] [-restoreFailedStorage true | false | check] [-help [cmd]]

• mradmin : Executa uma série de MapReduce administrativo operações. Use a opção -help para ver uma lista de todas as opções suportadas.Novamente, as opções genéricas são um conjunto comum de opções que são suportadas por vários comandos. Se você especificar -refreshServiceAcl, recarrega o arquivo de política de autorização no nível do serviço (JobTracker recarrega o arquivo de política de autorização); -refreshQueues recarrega as listas de controle de acesso da fila (ACLs) e o estado (JobTracker recarrega as fileiras do mapa). arquivo xml); -refreshNodes atualiza as informações dos hosts no JobTracker; -refreshUserToGroupsMappings atualiza mapeamentos de usuário para grupo; -refreshSuperUserGroupsConfiguration atualiza os mapeamentos de grupos de proxy do superusuário; e -help [cmd] exibe ajuda para o comando fornecido ou para todos os comandos se nenhum for especificado.

  Sintaxe: hadoop mradmin [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]]

  Exemplo: hadoop mradmin -help -refreshNodes

• jobtracker : Executa o nó MapReduce JobTracker, que coordena o sistema de processamento de dados do Hadoop. Se você especificar -dumpConfiguration, a configuração usada pelo JobTracker e a configuração da fila no formato JSON são gravadas em saída padrão.

  Sintaxe: hadoop jobtracker [-dumpConfiguration]

  Exemplo: hadoop jobtracker -dumpConfiguration

• namenode : Executa o NameNode, que coordena o armazenamento para todo o cluster Hadoop. Se você especificar -format, o NameNode é iniciado, formatado e então parado; com -upgrade, o NameNode começa com a opção de atualização depois que uma nova versão Hadoop é distribuída; com -rollback, o NameNode é revertido para a versão anterior (lembre-se de interromper o cluster e distribuir a versão anterior do Hadoop antes de usar esta opção); com -finalize, o estado anterior do sistema de arquivos é removido, a atualização mais recente torna-se permanente, a reversão não está mais disponível e o NameNode está parado; Por fim, com -portalista, uma imagem é carregada a partir do diretório do ponto de verificação (conforme especificado pelo ponto de verificação fs. propriedade dir) e salvo no diretório atual.

  Sintaxe: hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalizar] | [-importCheckpoint]

  Exemplo: hadoop namenode -finalize

• Namenode secundário : Executa o SecondNode secundário. Se você especificar o ponto de verificação, um ponto de verificação no SecondNode secundário é executado se o tamanho do EditLog (um log de transação que registre cada alteração que ocorre nos metadados do sistema de arquivos) é maior ou igual a fs. ponto de controle. Tamanho; especificar -force e um ponto de controle é executado independentemente do tamanho do EditLog; especifique -getedizesize e o tamanho EditLog é impresso.

  Sintaxe: hadoop secondarynamenode secundário [-checkpoint [force]] | [-geteditsize]

  Exemplo: hadoop secondarynamenode secundário -geteditsize

• tasktracker : Executa um nó MapReduce TaskTracker.

  Sintaxe: hadoop tasktracker

  Exemplo: hadoop tasktracker