Como definir a base arquitetônica para dados grandes - manequins

É importante estabelecer uma sólida base arquitetônica se desejar ser bem-sucedido com dados importantes. Além de suportar os requisitos funcionais, é importante suportar o desempenho exigido. Suas necessidades dependerão da natureza da análise que você está apoiando. Você precisará da quantidade certa de potência e velocidade computacional.

Sua arquitetura também precisa ter a quantidade certa de redundância para que você esteja protegido de latência e tempo de inatividade imprevistos.

Comece fazendo as seguintes perguntas:

• Quanto dados sua organização precisará gerenciar hoje e no futuro?

• Com que frequência sua organização precisa administrar dados em tempo real ou em tempo real?

• Qual o risco que sua organização pode suportar? A sua indústria está sujeita a requisitos rigorosos de segurança, conformidade e governança?

• Quão importante é a velocidade para sua necessidade de gerenciar dados?

• Quão certo ou preciso os dados precisam ser?

  

Interfaces e feeds para dados grandes

Para entender o tamanho dos dados no mundo real, é importante começar por entender a necessidade de interfaces e feeds. De fato, o que faz grandes dados é o fato de que ele depende de obter muitos dados de muitas fontes.

Portanto, as interfaces de programação de aplicativos abertas (APIs) serão essenciais para qualquer arquitetura de dados grande. Além disso, tenha em mente que as interfaces existem em todos os níveis e entre cada camada da pilha. Sem serviços de integração, grandes dados não podem acontecer.

Infra-estrutura física de dados grandes redundantes

A infraestrutura física de suporte é fundamental para a operação e escalabilidade de uma grande arquitetura de dados. Na verdade, sem a disponibilidade de infraestruturas físicas robustas, os grandes dados provavelmente não teriam surgido como uma tendência tão importante. Para suportar um volume de dados imprevisto ou imprevisível, uma infra-estrutura física para grandes dados deve ser diferente daquela para dados tradicionais.

A infra-estrutura física é baseada em um modelo de computação distribuída. Isso significa que os dados podem ser armazenados fisicamente em vários locais diferentes e podem ser interligados através de redes, o uso de um sistema de arquivos distribuído e várias ferramentas e aplicativos de grande análise de dados.

A redundância é importante porque você está lidando com tantos dados de tantas fontes diferentes. A redundância vem de muitas formas. Se a sua empresa criou uma nuvem privada, você deseja que a redundância seja construída dentro do ambiente privado para que ele possa expandir para suportar a mudança de carga de trabalho.

Se sua empresa quiser conter o crescimento interno de TI, pode usar serviços de nuvem externa para aumentar seus recursos internos. Em alguns casos, esta redundância pode vir na forma de uma oferta de Software como Serviço (SaaS) que permite que as empresas façam análise de dados sofisticada como um serviço. A abordagem SaaS oferece custos mais baixos, inicialização mais rápida e evolução perfeita da tecnologia subjacente.

Infraestrutura de segurança de grandes dados

A análise de dados maiores mais importante se torna para as empresas, mais importante será garantir esses dados. Por exemplo, se você é uma empresa de saúde, você provavelmente quer usar grandes aplicativos de dados para determinar mudanças em dados demográficos ou mudanças nas necessidades do paciente. Estes dados sobre os seus constituintes precisam ser protegidos tanto para cumprir os requisitos de conformidade quanto para proteger a privacidade dos pacientes.

Você precisará levar em conta quem tem permissão para ver os dados e em que circunstâncias eles estão autorizados a fazê-lo. Você precisará verificar a identidade dos usuários e proteger a identidade dos pacientes.

Fontes de dados grandes operacionais

É importante entender que você deve incorporar todas as fontes de dados que lhe darão uma imagem completa do seu negócio e verá como os dados afetam a maneira como você opera o seu negócio. À medida que o mundo muda, é importante entender que os dados operacionais agora devem abranger um conjunto mais amplo de fontes de dados, incluindo fontes não estruturadas, como dados de redes sociais em todas as suas formas.

Você encontra novas abordagens emergentes para o gerenciamento de dados no grande mundo dos dados, incluindo arquiteturas de banco de dados de documentos, gráficos, colunas e geoespaciais. Coletivamente, estes são referidos como NoSQL, ou não apenas SQL, bancos de dados. Em essência, você precisa mapear as arquiteturas de dados para os tipos de transações.

Fazer isso ajudará a garantir que os dados direito estejam disponíveis quando você precisar. Você também precisa de arquiteturas de dados que suportam conteúdo não estruturado complexo. Você precisa incluir bancos de dados relacionais e bancos de dados não-relacionados em sua abordagem para aproveitar dados importantes. Também é necessário incluir fontes de dados não estruturadas, como sistemas de gerenciamento de conteúdo, para que você possa se aproximar da visão comercial de 360 ​​graus.

Todas essas fontes de dados operacionais têm várias características em comum:

• Eles representam sistemas de registro que acompanham os dados críticos necessários para o funcionamento do dia-a-dia do negócio em tempo real.

• Eles são continuamente atualizados com base em transações que acontecem dentro de unidades de negócios e da web.

• Para que essas fontes forneçam uma representação precisa do negócio, elas devem misturar dados estruturados e não estruturados.

• Estes sistemas também devem ser capazes de dimensionar para suportar milhares de usuários em uma base consistente. Estes podem incluir sistemas de comércio eletrônico transacional, sistemas de gerenciamento de relacionamento com o cliente ou aplicativos de call center.