Vídeo: Migration of Adabas to Oracle (no sound) 2024
Os data warehouses agora estão sob o estresse, tentando lidar com aumento das demandas de seus recursos finitos. Hadoop pode fornecer alívio significativo nesta situação do depósito de dados.
O aumento rápido da quantidade de dados gerados no mundo também afetou armazéns de dados porque os volumes de dados que eles gerenciam estão aumentando - em parte porque mais dados estruturados , o tipo de dados fortemente digitado e está inserido em linhas e colunas - é gerado, mas também porque você costuma lidar com os requisitos regulamentares projetados para manter o acesso consultivo a dados históricos.
Além disso, o poder de processamento em armazéns de dados é freqüentemente usado para executar transformações dos dados relacionais, já que ele entra no próprio armazém ou é carregado em um mart de dados filho () um subconjunto separado do data warehouse) para uma aplicação de análise específica.
Além disso, a necessidade é aumentar para os analistas emitir novas consultas contra os dados estruturados armazenados em armazéns, e essas consultas ad hoc geralmente podem usar recursos significativos de processamento de dados. Às vezes, um relatório único pode ser suficiente e, às vezes, é necessária uma análise exploratória para encontrar questões que ainda não foram feitas, que podem gerar um valor comercial significativo.
A linha inferior é que os armazéns de dados geralmente são usados para fins além de seu design original.
A figura mostra, usando arquitetura de alto nível, como o Hadoop pode viver ao lado de armazéns de dados e cumprir alguns dos propósitos para os quais eles não foram projetados. Hadoop é um armazém helper,
não uma substituição de depósito. Hadoop pode modernizar um ecossistema de armazenagem de dados de quatro maneiras; Aqui estão em resumo:-
-
Fornece uma zona de pouso para todos os dados.
-
Persista os dados para fornecer um arquivo pesquisável de dados frios.
-
Aproveite as eficiências de processamento de lotes em larga escala da Hadoop para pré-processar e transformar dados para o armazém.
