Vídeo: Princípios do Design - Guia 002 2024
Quando se trata de Sqoop, uma imagem geralmente vale mais que mil palavras, então confira a figura, o que lhe dá uma visão panorâmica da arquitetura Sqoop.
A idéia por trás do Sqoop é que ele alavanca mapa tarefas - tarefas que realizam a importação e exportação paralela de tabelas de banco de dados relacionais - diretamente do framework Hadoop MapReduce. Esta é uma boa notícia porque o framework MapReduce fornece tolerância a falhas para importação e exportação de trabalhos junto com processamento paralelo!
Você apreciará a tolerância a falhas se houver uma falha durante uma grande importação ou exportação de tabelas porque a estrutura MapReduce será recuperada sem exigir que você comece o processo novamente.
O Sqoop pode importar dados para o Hive e o HBase. Observe, no entanto, que as setas de Hive e HBase apontarem em apenas uma direção. Os dados armazenados em qualquer banco de dados relacional com suporte JDBC podem ser importados diretamente nos sistemas Hive ou HBase com o Sqoop. As exportações, no entanto, são realizadas a partir de dados armazenados em HDFS.
Portanto, se você precisa exportar as suas tabelas de colméia, você aponta os diretórios Sqoop para HDFS que armazenam suas tabelas de colméia. Se você precisa exportar tabelas do HBase, primeiro você deve exportá-las para o HDFS e, em seguida, executar o comando de exportação do Sqoop.
