Modificam os produtos de Business Intelligence para lidar com grandes dados - os produtos de inteligência de negócios tradicionais

Os produtos tradicionais de inteligência de negócios não foram realmente projetados para lidar com grandes dados, portanto, eles podem exigir algumas modificações. Eles foram projetados para trabalhar com dados altamente estruturados e bem compreendidos, muitas vezes armazenados em um repositório de dados relacionais e exibidos em seu computador desktop ou laptop. Esta análise tradicional de inteligência de negócios é tipicamente aplicada a instantâneos de dados ao invés de toda a quantidade de dados disponíveis. O que é diferente com a grande análise de dados?

Dados de dados grandes

Os grandes dados consistem em dados estruturados, semi-estruturados e não estruturados. Muitas vezes você tem muito, e pode ser bastante complexo. Quando você pensa em analisá-lo, você precisa estar ciente das características potenciais de seus dados:

• Pode vir de fontes não confiáveis. A grande análise de dados geralmente envolve a agregação de dados de várias fontes. Estes podem incluir fontes de dados internas e externas. Quão confiáveis ​​são essas fontes externas de informação? Por exemplo, quão confiável são os dados das redes sociais como um tweet? A informação pode ser proveniente de uma fonte não verificada. A integridade desses dados precisa ser considerada na análise.

• Pode estar sujo. Dados sujos referem-se a dados imprecisos, incompletos ou errados. Isso pode incluir o erro de palavras; um sensor que esteja quebrado, não seja devidamente calibrado ou corrompido de alguma forma; ou mesmo dados duplicados. Os cientistas de dados debatem sobre onde limpar os dados - seja perto da fonte ou em tempo real.

  Claro, uma escola de pensamento diz que os dados sujos não devem ser limpos, pois podem conter valores aberrantes interessantes. A estratégia de limpeza provavelmente dependerá da fonte e do tipo de dados e do objetivo da sua análise. Por exemplo, se você estiver desenvolvendo um filtro de spam, o objetivo é detectar os elementos ruins nos dados, para que não deseje limpá-lo.

• A relação sinal-ruído pode ser baixa. Em outras palavras, o sinal (informação utilizável) pode ser apenas uma pequena porcentagem dos dados; o ruído é o resto. Ser capaz de extrair um pequeno sinal de dados ruidosos é parte do benefício da grande análise de dados, mas você precisa estar ciente de que o sinal pode ser pequeno.

• Pode ser em tempo real. Em muitos casos, você estará tentando analisar fluxos de dados em tempo real.

Grande governança de dados vai ser uma parte importante da equação de análise. Debaixo da análise de negócios, serão necessárias melhorias para soluções de governança para garantir a veracidade das novas fontes de dados, especialmente porque ela está sendo combinada com dados confiáveis ​​existentes armazenados em um armazém.As soluções de segurança e privacidade de dados também precisam ser aprimoradas para suportar o gerenciamento / governo de grandes dados armazenados em novas tecnologias.

Algoritmos analíticos de dados grandes

Quando você está considerando uma grande análise de dados, você precisa estar ciente de que quando você se expandir para além da área de trabalho, os algoritmos que você usa geralmente precisam ser refratados, mudando a código interno sem afetar seu funcionamento externo. A beleza de uma grande infraestrutura de dados é que você pode executar um modelo que costumava levar horas ou dias em minutos.

Isso permite que você faça uma iteração no modelo por centenas de vezes. No entanto, se você estiver executando uma regressão em um bilhão de linhas de dados em um ambiente distribuído, você deve considerar os requisitos de recursos relacionados ao volume de dados e sua localização no cluster. Seus algoritmos precisam estar conscientes dos dados.

Além disso, os fornecedores estão começando a oferecer novas análises projetadas para serem colocadas perto das grandes fontes de dados para analisar dados no local. Essa abordagem de execução de análises mais próxima das fontes de dados minimiza a quantidade de dados armazenados, mantendo somente os dados de alto valor. Também permite que você analise os dados mais cedo, o que é crítico para a tomada de decisões em tempo real.

Claro, a análise continuará a evoluir. Por exemplo, você pode precisar de recursos de visualização em tempo real para exibir dados em tempo real que estão mudando continuamente. Como praticamente traça um bilhão de pontos em um gráfico? Ou, como você trabalha com os algoritmos preditivos para que eles realizem uma análise suficientemente rápida e suficientemente profunda para utilizar um conjunto de dados complexo e em constante expansão? Esta é uma área de pesquisa ativa.

Suporte a grandes infraestruturas de dados

Basta dizer que, se você estiver procurando por uma plataforma, precisa alcançar o seguinte:

• Integrar tecnologias: A infra-estrutura precisa integrar novas tecnologias de dados grandes com tecnologias tradicionais para poder processar todos os tipos de dados importantes e torná-lo consumível por análises tradicionais.

• Armazene grandes quantidades de dados diferentes: Um sistema Hadoop endurecido pela empresa pode ser necessário para processar / armazenar / gerenciar grandes quantidades de dados em repouso, seja estruturado, semi-estruturado ou desestruturado.

• Dados de processo em movimento: Uma capacidade de computação de fluxo pode ser necessária para processar dados em movimento gerados continuamente por sensores, dispositivos inteligentes, vídeo, áudio e logs para suportar a tomada de decisões em tempo real.

• Dados do armazém: Você pode precisar de uma solução otimizada para carga de trabalho operacional ou analítica profunda para armazenar e gerenciar quantidades crescentes de dados confiáveis.

E, claro, você precisa da capacidade de integrar os dados que você já possui, juntamente com os resultados da grande análise de dados.