Vídeo: Howto Install Hadoop Using Ambari on Ubuntu 2024
Como a morte e impostos, falhas no disco (e dado tempo suficiente, até mesmo falhas no nó ou no rack) são inevitável no sistema de arquivos distribuídos Hadoop (HDFS). No exemplo mostrado, mesmo que um rack falisse, o cluster poderia continuar funcionando. O desempenho sofreria porque você perdeu metade dos seus recursos de processamento, mas o sistema ainda está online e todos os dados ainda estão disponíveis.
Em um cenário em que uma unidade de disco ou um nodo escravo falha, o servidor de metadados central para HDFS (chamado NameNode) eventualmente descobre que os blocos de arquivos armazenados no recurso falhado não estão mais disponíveis. Por exemplo, se o nó Escravo 3 falhar, isso significaria que os blocos A, C e D são menos replicados .
Em outras palavras, poucas cópias desses blocos estão disponíveis no HDFS. Quando o HDFS percebe que um bloco está subestimado, ele ordena uma nova cópia.
Para continuar com o exemplo, diga que o Núcleo Escravo 3 volte on-line depois de algumas horas. Enquanto isso, o HDFS garantiu que existam três cópias de todos os blocos de arquivos. Então, agora, os blocos A, C e D têm quatro cópias cada e são exagerados . Tal como acontece com os blocos subestimados, o servidor central de metadados HDFS também descobrirá sobre isso e solicitará uma cópia de cada arquivo a ser excluído.
Um bom resultado da disponibilidade de dados é que, quando ocorrem falhas no disco, não há necessidade de substituir imediatamente os discos rígidos com falha. Isso pode ser efetivamente feito em intervalos regularmente agendados.
