Abordagens diferentes para grande análise de dados - manequins

Em muitos casos, a grande análise de dados será representada ao usuário final por meio de relatórios e visualizações. Como os dados brutos podem ser incompreensivamente variados, você terá que contar com ferramentas e técnicas de análise para ajudar a apresentar os dados de maneiras significativas.

Novos aplicativos estão disponíveis e serão abrangidos em duas categorias: custom ou semi-custom.

Aplicativos personalizados para grande análise de dados

Em geral, um aplicativo personalizado é criado para um propósito específico ou um conjunto de propósitos relacionados. Para grandes análises de dados, o propósito do desenvolvimento de aplicativos personalizados é acelerar o tempo de decisão ou ação.

Ambiente R

O ambiente "R" é baseado nas estatísticas "S" e na linguagem de análise desenvolvidas na década de 1990 pela Bell Laboratories. É mantida pelo projeto GNU e está disponível sob a licença GNU.

Embora desafiador para compreender plenamente, a sua profundidade e flexibilidade tornam uma escolha convincente para desenvolvedores de aplicativos de análise e "usuários avançados". "Além disso, o projeto CRAN R mantém um conjunto mundial de protocolos de transferência de arquivos e servidores web com as versões mais atualizadas do ambiente R. Uma versão corporativa suportada comercialmente da R também está disponível no Revolution Analytics.

Mais especificamente, R é um conjunto integrado de ferramentas e tecnologias de software projetadas para criar aplicativos personalizados usados para facilitar a manipulação de dados, o cálculo, a análise e a exibição visual. Entre outros recursos avançados, ele suporta

Componentes eficazes de manipulação de dados e manipulação.
Operadores para cálculos em arrays e outros tipos de dados ordenados.
Ferramentas específicas para uma ampla variedade de análises de dados.
Capacidades avançadas de visualização. Linguagem de programação
S projetada por programadores, para programadores com muitas construções familiares, incluindo condicionais, loops, funções recursivas definidas pelo usuário e uma ampla gama de instalações de entrada e saída.

R é adequado para aplicações personalizadas e de uso único para análise de grandes fontes de dados.

Google Prediction API

A API de previsão do Google é um exemplo de uma classe emergente de grandes ferramentas de aplicativos de análise de dados. Está disponível no site dos desenvolvedores do Google e está bem documentado e é fornecido com vários mecanismos de acesso usando diferentes linguagens de programação. Para ajudá-lo a começar, está disponível gratuitamente por seis meses.

A API de Previsão é bastante simples. Ele procura padrões e combina com padrões proscritivos, prescritivos ou outros padrões existentes.Ao realizar sua correspondência padrão, também "aprende". "Quanto mais você o usa, mais inteligente fica.

A previsão é implementada como uma API RESTful com suporte de idioma para. NET, Java, PHP, JavaScript, Python, Ruby e muitos outros. O Google também fornece scripts para acessar a API, bem como uma biblioteca de clientes para R.

A análise preditiva é uma das capacidades potenciais mais poderosas dos grandes dados e a Google Prediction API é uma ferramenta muito útil para criar aplicativos personalizados.

Aplicações semi-personalizadas para grandes análises de dados

Na verdade, o que muitas pessoas percebem como aplicativos personalizados são realmente criados usando componentes "embalados" ou de terceiros, como bibliotecas. Nem sempre é necessário codificar completamente um novo aplicativo. O uso de aplicativos ou componentes embalados exige que desenvolvedores ou analistas escrevam código para "unir" esses componentes em um aplicativo customizado. Os seguintes são os motivos pelos quais esta é uma abordagem de som:

Velocidade para implantação: Como você não precisa escrever todas as partes do aplicativo, o tempo de desenvolvimento pode ser bastante reduzido.
Estabilidade: O uso de componentes de terceiros bem construídos e confiáveis pode ajudar a tornar a aplicação personalizada mais resistente.
Qualidade melhor: Os componentes empacotados geralmente estão sujeitos a padrões de qualidade mais elevados porque são implantados em uma ampla variedade de ambientes e domínios.
Mais flexibilidade: Se um componente melhor vem junto, ele pode ser trocado no aplicativo, estendendo a vida útil, adaptabilidade e utilidade da aplicação personalizada.

Outro tipo de aplicativo semi-personalizado é aquele onde o código-fonte está disponível e é modificado para um propósito específico. Isso pode ser uma abordagem eficiente porque existem alguns exemplos de blocos de criação de aplicativos disponíveis para incorporar em seu aplicativo semi-personalizado:

TA-Lib: A biblioteca de Análise Técnica é amplamente utilizada pelos desenvolvedores de software que precisam realizar análises técnicas dos dados do mercado financeiro. Está disponível como fonte aberta sob a licença BSD, permitindo que ele seja integrado em aplicativos semi-customizados.
JUNG: A estrutura Java Universal Network Graph é uma biblioteca que fornece uma estrutura comum para análise e visualização de dados que podem ser representados por um gráfico ou rede. É útil para análises de redes sociais, medidas de importância e mineração de dados. Está disponível como fonte aberta sob a licença BSD.
GeoTools: Um conjunto de ferramentas geoespaciais de código aberto para manipular dados GIS em muitas formas, analisando atributos espaciais e não espaciais ou dados GIS e criando gráficos e redes de dados. Está disponível sob a licença GPL2, permitindo a integração em aplicações semi-customizadas.