Apache Bigtop e Hadoop - dummies

Para ajudá-lo a começar com o Hadoop, aqui estão instruções sobre como baixar e configurar rapidamente o Hadoop em seu próprio computador laptop. Seu cluster será executado em modo pseudo-distribuído em uma máquina virtual, portanto, você não precisará de hardware especial.

A máquina virtual (VM) é um computador simulado que você pode executar em um computador real. Por exemplo, você pode executar um programa em seu laptop que "reproduza" uma VM, que abre uma janela que parece funcionar com outro computador. Com efeito, um computador fino está sendo executado dentro do seu computador real.

Você estará baixando uma VM, e ao executá-la, você instalará o Hadoop.

O Apache Bigtop é uma ótima alternativa se quiser montar seus próprios componentes Hadoop. O Bigtop reúne os principais componentes Hadoop para você e garante que sua configuração funcione. O Apache Bigtop é uma distribuição de código aberto de 100%.

O principal objetivo do Bigtop - ele próprio, um projeto Apache, como Hadoop - é construir uma comunidade em torno da embalagem, implantação e integração de projetos no ecossistema Apache Hadoop. O foco está no sistema como um todo e não em projetos individuais.

Usando o Bigtop, você pode instalar e implantar facilmente componentes Hadoop sem ter que rastreá-los em uma distribuição específica e combiná-los com uma versão Hadoop específica. À medida que novas versões dos componentes Hadoop são lançadas, às vezes não funcionam com os lançamentos mais recentes de outros projetos. Se você estiver sozinho, é necessário um teste significativo.

Com a Bigtop (ou uma versão comercial do Hadoop), você pode confiar que os especialistas da Hadoop fizeram este teste para você. Para lhe dar uma ideia de como o Bigtop aumentou, veja a seguinte lista de todos os componentes incluídos no Bigtop:

• Apache Crunch

• Apache Flume

• Apache Giraph

• Apache HBase

• Apache HCatalog

• Apache Hive

• Apache Mahout

• Apache Oozie

• Apache Porquê

• Apache Solr

• Apache Sqoop

• Apache Whirr

• Apache Zookeeper

• Cloudera Hue

• LinkedIn DataFu

Esta coleção de projetos de ecossistema de Hadoop é tão expansiva quanto obtida, como ambos Projetos maiores e menores estão incluídos. O Apache Bigtop está evoluindo continuamente.