Coloque seus grandes dados juntos - manequins

Como você saberá como colocar todos os seus dados juntos? Com um grande projeto de dados, o que você quer fazer com seus dados estruturados e não estruturados indica por que você pode escolher uma peça de tecnologia em outra. Ele também determina a necessidade de entender as estruturas de dados de entrada para colocar esses dados no lugar certo.

Gerencie diferentes tipos de dados para grandes dados

Você precisará considerar algumas das características dos grandes dados e os tipos de sistemas de gerenciamento de dados que você deseja usar para abordar cada um.

Integre os tipos de dados em um grande ambiente de dados

Outro aspecto importante dos grandes dados é que você geralmente não precisa possuir todos os dados que você usará. Muitos exemplos fazem questão. Você pode aproveitar dados de redes sociais, dados provenientes de estatísticas da indústria de terceiros ou mesmo dados provenientes de satélites. Basta pensar em mídias sociais e você entenderá.

Muitas vezes, torna-se necessário integrar diferentes fontes. Esses dados podem ser provenientes de todos os sistemas internos, tanto de fontes internas como externas, ou de fontes inteiramente externas. Grande parte desses dados pode ter sido manchada antes.

Os dados não precisam estar a sua disposição em tempo real. Você pode ter muito disso e é de natureza diferente. Isso ainda poderia se qualificar como um grande problema de dados. Claro, você também pode enfrentar um cenário onde você está vendo enormes volumes de dados, em altas velocidades, e é de natureza diferente.

O ponto é que você não obterá o valor do negócio se você lidar com uma variedade de fontes de dados como um conjunto de silos desconectados de informações.

Os componentes que você precisa incluem conectores e metadados.

Conectores

Você deseja ter alguns conectores que permitem extrair dados de várias fontes de dados grandes. Talvez você queira um conector do Twitter ou um Facebook. Talvez você precise integrar do seu data warehouse com uma grande fonte de dados que está fora de suas instalações para que você possa analisar essas duas fontes de dados em conjunto.

Metadados

Um componente crítico para integrar todos esses dados é o metadado. Metadados são as definições, mapeamentos e outras características usadas para descrever como encontrar, acessar e usar os componentes de dados de uma empresa (e software). Um exemplo de metadados são dados sobre um número de conta. Isso pode incluir o número, descrição, tipo de dados, nome, endereço, número de telefone e nível de privacidade.

Os metadados podem ser usados ​​para ajudá-lo a organizar suas lojas de dados e a lidar com fontes novas e em mudança de dados. Embora a idéia de metadados não seja nova, está mudando e evoluindo no contexto de grandes dados.No mundo dos metadados tradicionais, é importante ter um catálogo que ofereça uma visão única de todas as fontes de dados.

Mas este catálogo terá que ser diferente quando você não controla todas essas fontes de dados. Você pode precisar de uma ferramenta analítica que o ajudará a entender os metadados subjacentes.