Como garantir a validade, a veracidade e a volatilidade dos grandes dados - dummies

O alto volume, a alta variedade e a alta velocidade são as características essenciais de grandes dados. Mas outras características dos grandes dados são igualmente importantes, especialmente quando você aplica grandes dados aos processos operacionais. Este segundo conjunto de características "V" que são a chave para a operação de grandes dados inclui

• Validade: Os dados são corretos e precisos para o uso pretendido?

• Veracidade: Os resultados são significativos para o espaço do problema dado?

• Volatilidade: Por quanto tempo você precisa armazenar esses dados?

Grande validade de dados

Você quer resultados precisos. Mas nos estágios iniciais da análise de petabytes de dados, é provável que você não se preocupe com a validade de cada elemento de dados. Esse fluxo inicial de dados grandes pode realmente ser bastante sujo. Nos estágios iniciais, é mais importante verificar se existem relações entre elementos dentro desta fonte de dados maciça do que garantir que todos os elementos sejam válidos.

No entanto, após uma organização determinar que as partes dessa análise inicial de dados são importantes, este subconjunto de dados grandes precisa ser validado porque agora será aplicado a uma condição operacional. Quando os dados passam de exploratório para acionável, os dados devem ser validados. A validade das grandes fontes de dados e a análise subseqüente devem ser precisas se você for usar os resultados para a tomada de decisões.

Os dados de entrada válidos seguidos pelo processamento correto dos dados devem produzir resultados precisos. Com grandes dados, você deve ser mais vigilante em relação à validade. Por exemplo, nos cuidados de saúde, você pode ter dados de um ensaio clínico que possa estar relacionado aos sintomas da doença de um paciente. Mas um médico que trata essa pessoa não pode simplesmente levar os resultados dos ensaios clínicos como sem validá-los.

Imagine que o satélite meteorológico indica que uma tempestade está começando em uma parte do mundo. Como essa tempestade afeta indivíduos? Com cerca de meio bilhão de usuários, é possível analisar os fluxos de Twitter para determinar o impacto de uma tempestade nas populações locais. Portanto, usar o Twitter em combinação com dados de um satélite meteorológico pode ajudar os pesquisadores a entender a veracidade de uma previsão do tempo.

Grande volatilidade de dados

Se você possui dados válidos e pode comprovar a veracidade dos resultados, por quanto tempo os dados precisam "viver" para satisfazer suas necessidades? Em uma configuração de dados padrão, você pode manter dados por décadas, porque você, ao longo do tempo, construiu uma compreensão de quais dados são importantes para o que você faz com ele.Você estabeleceu regras para moeda de dados e disponibilidade que mapeiam seus processos de trabalho.

Por exemplo, algumas organizações só podem manter o ano mais recente de seus dados de clientes e transações em seus sistemas de negócios. Isso garantirá a recuperação rápida dessas informações quando necessário. Se eles precisam olhar para um ano anterior, a equipe de TI pode precisar restaurar dados do armazenamento off-line para honrar o pedido. Com grandes dados, este problema é ampliado.

Se o armazenamento for limitado, observe as grandes fontes de dados para determinar o que você precisa reunir e quanto tempo você precisa para mantê-lo. Com algumas grandes fontes de dados, você precisará apenas reunir dados para uma análise rápida.

Você poderia então armazenar as informações localmente para processamento posterior. Se você não tiver armazenamento suficiente para todos esses dados, você pode processar os dados "on the fly" e apenas manter informações relevantes a nível local. Quanto tempo você mantém grandes dados disponíveis depende de alguns fatores:

• Quanto dados são mantidos na fonte?

• Precisa processar os dados repetidamente?

• Você precisa processar os dados, reunir dados adicionais e fazer mais processamento?

• Você tem regras ou regulamentos que exigem armazenamento de dados?

• Os seus clientes dependem dos seus dados para o seu trabalho?

• Os dados ainda têm valor ou não é mais relevante?

Devido ao volume, variedade e velocidade dos grandes dados, você precisa entender a volatilidade. Para algumas fontes, os dados sempre estarão lá; Para outros, esse não é o caso. Compreendendo quais dados estão por aí e por quanto tempo pode ajudá-lo a definir requisitos de retenção e políticas para dados importantes.

Como consumidor, grandes dados ajudarão a definir um melhor perfil de como e quando você compra bens e serviços. Como paciente, grandes dados ajudarão a definir uma abordagem mais personalizada para tratamentos e manutenção da saúde. Como um profissional, grandes dados irão ajudá-lo a identificar melhores maneiras de projetar e entregar seus produtos e serviços.

Isso só acontecerá quando grandes dados forem integrados aos processos operacionais de empresas e organizações.