Origem e Design de Hadoop - dummies

Então, o que é exatamente isso com o nome engraçado - Hadoop? No seu núcleo, o Hadoop é uma estrutura para armazenar dados em grandes clusters de < commodity hardware - hardware de computador cotidiano que é acessível e facilmente disponível - e executando aplicativos contra esses dados. Um cluster é um grupo de computadores interligados (conhecidos como nós ) que podem trabalhar juntos no mesmo problema.

Usar as redes de recursos de computação acessíveis para adquirir informações comerciais é a principal proposta de valor do Hadoop.

Quanto a esse nome, Hadoop, não procure nenhum significado importante, é simplesmente o nome que o filho de Doug Cutting deu ao seu elefante recheado. (Doug Cutting é, é claro, o co-criador de Hadoop). O nome é único e fácil de lembrar - características que o tornaram uma ótima escolha.

O Hadoop consiste em dois componentes principais: uma estrutura de processamento distribuído nomeado MapReduce (que agora é suportado por um componente chamado YARN) e um sistema de arquivos distribuídos conhecido como sistema de arquivos distribuídos Hadoop ou HDFS.

Um aplicativo que está sendo executado no Hadoop obtém seu trabalho dividido entre os nós (máquinas) no cluster e o HDFS armazena os dados que serão processados. Um cluster Hadoop pode abranger milhares de máquinas, onde o HDFS armazena dados e os trabalhos MapReduce fazem seu processamento perto dos dados, o que mantém os custos de E / S baixos. MapReduce é extremamente flexível e permite o desenvolvimento de uma ampla variedade de aplicações.

Como você pode ter imaginado, um cluster Hadoop é uma forma de

cluster de computação, um tipo de cluster que é usado principalmente para fins computacionais. Em um cluster de computação, muitos computadores ( nodos de computação ) podem compartilhar cargas de trabalho computacionais e tirar proveito de uma largura de banda agregada muito grande em todo o cluster. Os clusters Hadoop geralmente consistem em poucos

nós mestres, que controlam os sistemas de armazenamento e processamento no Hadoop e muitos nós escravos, que armazenam todos os dados do cluster e também são onde os dados são processados.