Vídeo: What is Big Data Big Data Explained Hadoop MapReduce1 2025
Parte do Big Data For Dummies Cheat Sheet
Hadoop, uma estrutura de software de código aberto, usa HDFS (o Hadoop Distributed File System) e MapReduce para analisar grandes dados em clusters de commodity hardware, isto é, em um ambiente de computação distribuída.
O sistema de arquivos distribuídos Hadoop (HDFS) foi desenvolvido para permitir que as empresas gerenciem mais facilmente grandes volumes de dados de forma simples e pragmática. Hadoop permite que grandes problemas sejam decompostos em elementos menores para que a análise possa ser feita de forma rápida e econômica. O HDFS é uma abordagem versátil, resiliente e agrupada para gerenciar arquivos em um grande ambiente de dados.
O HDFS não é o destino final dos arquivos. Em vez disso, é um "serviço" de dados que oferece um conjunto único de recursos necessários quando os volumes de dados e a velocidade são altos.
MapReduce é uma estrutura de software que permite aos desenvolvedores escrever programas que podem processar enormes quantidades de dados não estruturados em paralelo em um grupo distribuído de processadores. MapReduce foi projetado pelo Google como uma maneira de executar de forma eficiente um conjunto de funções contra uma grande quantidade de dados no modo em lote.
O componente "mapa" distribui o problema ou tarefas de programação em um grande número de sistemas e lida com o posicionamento das tarefas de forma a equilibrar a carga e gerencia a recuperação de falhas. Após a conclusão da computação distribuída, outra função chamada "reduzir" agrega todos os elementos de volta para fornecer um resultado. Um exemplo do uso do MapReduce seria determinar quantas páginas de um livro estão escritas em cada uma das 50 línguas diferentes.
