Grandes fluxos de dados - dummies

Para entender grandes fluxos de dados, você precisa entender o que é um processo e como ele se relaciona com o fluxo de trabalho em ambientes intensivos em dados. Os processos tendem a ser projetados como estruturas de alto nível, de ponta a ponta, úteis para a tomada de decisões e normalizando a forma como as coisas são feitas em uma empresa ou organização.

Em contraste, os fluxos de trabalho são orientados para tarefas e muitas vezes requerem dados mais específicos que os processos. Os processos são compostos por um ou mais fluxos de trabalho relevantes para o objetivo geral do processo.

Em muitos aspectos, grandes fluxos de dados são semelhantes aos fluxos de trabalho padrão. De fato, em qualquer fluxo de trabalho, os dados são necessários nas várias fases para realizar as tarefas. Considere o fluxo de trabalho em uma situação de saúde.

Um fluxo de trabalho elementar é o processo de "desenho de sangue". "Tirar sangue é uma tarefa necessária necessária para completar o processo de diagnóstico geral. Se algo acontece e sangue não foi desenhado ou os dados desse exame de sangue foram perdidos, isso terá um impacto direto na veracidade ou veracidade da atividade geral.

O que acontece quando você apresenta um fluxo de trabalho que depende de uma grande fonte de dados? Embora você possa usar fluxos de trabalho existentes, você não pode assumir que um processo ou fluxo de trabalho funcionará corretamente simplesmente substituindo uma grande fonte de dados por uma fonte padrão. Isso pode não funcionar porque os métodos padrão de processamento de dados não possuem as abordagens de processamento ou o desempenho para lidar com a complexidade dos grandes dados.

O exemplo de cuidados de saúde centra-se na necessidade de realizar uma análise após o sangue ser extraído do paciente. No fluxo de trabalho de dados padrão, o sangue é digitado e, em seguida, certos testes químicos são realizados com base nos requisitos do profissional de saúde.

É improvável que este fluxo de trabalho compreenda os testes necessários para identificar biomarcadores específicos ou mutações genéticas. Se você forneceu grandes fontes de dados para biomarcadores e mutações, o fluxo de trabalho falharia. Não é grande conhecimento de dados e precisará ser modificado ou reescrito para suportar dados importantes.

A melhor prática para a compreensão dos fluxos de trabalho e o efeito de dados importantes é fazer o seguinte:

• Identifique as grandes fontes de dados que você precisa usar.

• Mapeie os grandes tipos de dados para seus tipos de dados de fluxo de trabalho.

• Certifique-se de ter a velocidade de processamento e o acesso ao armazenamento para suportar o fluxo de trabalho.

• Selecione o armazenamento de dados mais adequado aos tipos de dados.

• Modifique o fluxo de trabalho existente para acomodar grandes dados ou crie um novo fluxo de dados de grande porte.

Depois de ter seus grandes fluxos de dados, será necessário ajustar estes para que eles não submergem ou contaminem sua análise.Por exemplo, muitas grandes fontes de dados não incluem definições de dados bem definidas e metadados sobre os elementos dessas fontes. Às vezes, essas fontes de dados não foram limpas. Você precisa garantir que você tenha o nível certo de conhecimento sobre as fontes que você vai usar.