Características de um Big Data Analysis Framework - manequins

Embora novos conjuntos de ferramentas continuem disponíveis para ajudá-lo a gerenciar e analisar o seu grande quadro de dados de forma mais eficaz, talvez você não consiga obter o que precisa. Além disso, uma variedade de tecnologias pode suportar grandes análises e requisitos de dados, tais como disponibilidade, escalabilidade e alto desempenho. Alguns destes incluem grandes equipamentos de dados, bancos de dados em colunas, bancos de dados em memória, bancos de dados não-relacionais e mecanismos de processamento em massa.

Então, o que os usuários de negócios procuram quando se trata de grandes análises de dados? A resposta a essa pergunta depende do tipo de problema comercial que eles estão tentando resolver. Algumas considerações importantes à medida que você seleciona uma grande estrutura de análise de aplicativos de dados incluem o seguinte:

• Suporte para múltiplos tipos de dados: Muitas organizações estão incorporando ou esperam incorporar todos os tipos de dados como parte de suas grandes implantações de dados, incluindo dados estruturados, semi-estruturados e não estruturados.

• Gerencie o processamento de lote e / ou fluxos de dados em tempo real: A orientação de ação é um produto da análise em fluxos de dados em tempo real, enquanto a orientação para a decisão pode ser atendida adequadamente pelo processamento em lote. Alguns usuários exigirão ambos, à medida que evoluem para incluir diferentes formas de análise.

• Utilize o que já existe no seu ambiente: Para obter o contexto certo, pode ser importante alavancar dados e algoritmos existentes na estrutura de análise de dados grande.

• Suporte NoSQL e outras formas mais recentes de acessar dados: Enquanto as organizações continuarão a usar o SQL, muitos também estão procurando formas mais recentes de acesso a dados para suportar tempos de resposta mais rápidos ou tempos mais rápidos para a decisão.

• Superar baixa latência: Se você estiver lidando com alta velocidade de dados, você precisará de uma estrutura que possa suportar os requisitos de velocidade e desempenho.

• Fornecer armazenamento barato: Dados importantes significa potencialmente muito armazenamento - dependendo da quantidade de dados que você deseja processar e / ou manter.

• Integração com implantações em nuvem: A nuvem pode fornecer armazenamento e calcular a capacidade sob demanda. Mais e mais empresas estão usando a nuvem como uma sandbox de análise. "Cada vez mais, a nuvem está se tornando um modelo de implantação importante para integrar sistemas existentes com implantações em nuvem em um modelo híbrido.

Embora todas essas características sejam importantes, o valor percebido e real de criar aplicativos de uma estrutura é um tempo mais rápido para a implantação.Com todas essas capacidades em mente, considere uma grande estrutura de aplicativos de análise de dados de uma empresa chamada Continuidade.

A Continuity AppFabric é uma estrutura que suporta o desenvolvimento e implantação de grandes aplicativos de dados. O próprio AppFabric é um conjunto de tecnologias especificamente concebidas para abstrair os caprichos das tecnologias de dados de baixo nível. O construtor de aplicativos é um plug-in Eclipse que permite que o desenvolvedor crie, teste e depua localmente e em um ambiente familiar.

Os recursos do AppFabric incluem o seguinte:

• Suporte de fluxo para análise e reação em tempo real

• API unificada, eliminando a necessidade de escrever em grandes infra-estruturas de dados

• Interfaces de consulta para resultados simples e suporte para processadores de consulta conectáveis

• Conjuntos de dados que representam dados e tabelas consultivos acessíveis a partir da Unified API

• Leitura e escrita de dados independentes de formatos de entrada ou saída ou especificações de componentes subjacentes

• Processo de eventos baseados em transações

• Implementação multimodal para um único nó ou a nuvem

Esta abordagem vai ganhar força para o grande desenvolvimento de aplicativos de dados principalmente por causa da multiplicidade de ferramentas e tecnologias necessárias para criar um grande ambiente de dados.

A falta de colaboração pode ser dispendiosa de muitas maneiras. As grandes organizações podem se beneficiar com ferramentas que conduzem colaborações. Muitas vezes, as pessoas que fazem trabalhos similares não sabem quais os esforços uns dos outros que levam ao trabalho duplicado.

Outro bom exemplo de uma estrutura de aplicativos é o OpenChorus. Além do rápido desenvolvimento de grandes aplicativos de análise de dados, ele também suporta colaboração e fornece muitos outros recursos importantes para desenvolvedores de software, como integração de ferramentas, controle de versão e gerenciamento de configuração.

Open Chorus é um projeto mantido pela EMC Corporation e está disponível sob a licença Apache 2. 0. A EMC também produz e suporta uma versão comercial do Chorus. Tanto o Open Chorus quanto o Chorus têm redes de parceiros vibrantes, bem como um grande conjunto de contribuintes individuais e corporativos.

Open Chorus é um quadro genérico. Sua característica principal é a capacidade de criar um "hub" comum para compartilhar grandes fontes de dados, insights, técnicas de análise e visualizações. O Open Chorus fornece o seguinte:

• Repositório de ferramentas de análise, artefatos e técnicas com versões completas, rastreamento de alterações e arquivamento

• Espaços de trabalho e caixas de areia que são auto-provisionados e facilmente mantidos pelos membros da comunidade

• Visualizações, incluindo mapas de calor, séries temporais, histogramas e assim por diante

• Pesquisa federada de todos e quaisquer recursos de dados, incluindo Hadoop, metadados, repositórios SQL e comentários

• Colaboração através de redes sociais - características semelhantes que incentivam a descoberta, compartilhamento e brainstorming

• Extensibilidade para integração de componentes e tecnologias de terceiros