Visualizando NoSQL - dummies

Armazenar e recuperar grandes quantidades de dados e fazê-lo rápido é ótimo, e uma vez que você tenha seus dados recentemente gerenciados no NoSQL, você pode fazer coisas excelentes.

Extração e enriquecimento de entidades

Você pode usar gatilhos de banco de dados, ações de alerta e sistemas externos para analisar dados de origem. Talvez seja principalmente texto livre, mas menciona assuntos conhecidos. Esses gatilhos e ações de alerta podem destacar o texto como sendo uma Pessoa ou Organização, efetivamente marcando o conteúdo em si e o documento que ele estabelece.

Um bom exemplo é o conteúdo de um artigo de notícias. Você pode usar uma ferramenta como Apache Stanbol ou OpenCalais para identificar termos-chave. Essas ferramentas podem ver "Presidente Putin" e decidir que isso se relaciona com uma pessoa chamada Vladimir Putin, que é russo, e é o atual presidente da Federação Russa.

Outros exemplos incluem nomes de doenças e medicamentos, organizações, tópicos de conversação, produtos mencionados e se um comentário foi positivo ou negativo.

Todos estes são exemplos de extração de entidade (que é o processo de extração automática de tipos de objetos de seus nomes de texto) . Ao identificar termos-chave, você pode marcá-los ou envolvê-los em um elemento XML, o que o ajuda a pesquisar conteúdo de forma mais eficaz.

O enriquecimento de entidades significa adicionar informações com base no texto original, além de identificá-lo. No exemplo de Putin, você pode transformar a palavra de texto simples "Putin" no presidente Putin. Alternativamente, você pode transformar "Londres" em Londres.

Você pode mostrar esses dados em uma interface de usuário como texto realçado com um link para obter mais informações sobre cada assunto.

Você pode fornecer enriquecimento usando pesquisa de texto livre, alertas, disparadores de banco de dados e integrações para software externo, como TEMIS Luxid e SmartLogic.

Procurar e alertar

Depois de armazenar suas informações, você pode procurá-la. A pesquisa de texto livre é direta, mas depois de realizar a extração de entidade, você tem mais opções. Você pode procurar especificamente para uma pessoa chamada "Laranja" (como em William of Orange) ao invés de buscar registros que mencionam o termo laranja - o que, claro, também é uma cor e uma fruta.

Fazer isso resulta em uma busca mais granular. Também permite a navegação com facetas. Se você vai para a Amazon e procurar Harry Potter, você verá categorias para livros, filmes, jogos e assim por diante. A categoria de produto é um exemplo de uma faceta , que mostra um aspecto dos dados nos resultados da pesquisa - ou seja, os valores mais comuns de cada faceta em todos os resultados de pesquisa, mesmo aqueles que não estão na página atual.

As interfaces de usuário podem suportar explorações ricas em dados (bem como pesquisas básicas do Google-esque). Os usuários também podem usá-los para salvar e carregar pesquisas anteriores.

Você pode configurar critérios de pesquisa salvos para que os alertas sejam ativados quando registros recém-adicionados combinarem com esse critério. Então, se um novo registro chegar ao seu critério de pesquisa, ocorre uma ação. Talvez "Putin" se torne Putin

Nem todos os mecanismos de pesquisa são capazes de tornar cada termo de consulta um alerta. Alguns são limitados aos campos de texto; outros não podem fazer critérios geoespaciais. Certifique-se de que o seu pode lidar com os alertas que você precisa configurar.

Funções de agregação

Depois de encontrar informações relevantes, você pode querer cavar mais fundo. Dependendo da fonte, você pode perguntar quantos países tem um PIB superior a US $ 400 bilhões, ou qual é a idade média de todos os membros em sua árvore genealógica ou onde a maioria das picadas de cobras ocorrem na Austrália. Esses exemplos ilustram como a análise é realizada em um conjunto de resultados de pesquisa. Estes são cálculos de contagem, média média e mapa de calor geoespacial, respectivamente.

Ser capaz de fazer tais cálculos ao lado dos dados oferece várias vantagens. A primeira vantagem é que você pode usar os índices para acelerar as coisas. Em segundo lugar, esses índices provavelmente serão armazenados em cache na memória, tornando-os ainda mais rápidos. Em terceiro lugar, os índices de memória são particularmente úteis para um banco de dados NoSQL usando o armazenamento do sistema de arquivos Hadoop (HDFS). O HDFS não faz indexação nativa ou armazenamento de colunas na memória para cálculos de agregação rápida em si - requer um banco de dados NoSQL no topo para fazer isso.

A navegação com facetas é um exemplo de agregações baseadas em conta em resultados de pesquisa que aparecem em uma interface de usuário. O mesmo é verdade para uma linha de tempo que mostra o número de registros que mencionam um ponto específico no tempo. Por exemplo, você quer mostrar os resultados desse ano, este mês ou esta hora?

Se você deseja essa funcionalidade, certifique-se de que seu banco de dados tenha a capacidade de calcular agregados de forma eficiente ao lado dos dados. A maioria dos bancos de dados NoSQL faz, mas alguns não.

Gráficos e business intelligence

A próxima e óbvia extensão de interface do usuário envolve gráficos e visualizações de resumos de tabelas para informações de gerenciamento ao vivo e análises históricas de inteligência de negócios.

A maioria dos bancos de dados NoSQL fornecem uma API REST fácil de integrar em seus bancos de dados. Isso significa que você pode conectar uma série de níveis de aplicativos, ou mesmo conectar diretamente aplicativos de JavaScript a esses bancos de dados. Uma variedade de excelentes bibliotecas de gráficos estão disponíveis para JavaScript. Você pode até usar o R ​​Ecosystem para criar gráficos com base nos dados armazenados nesses bancos de dados, depois de instalar um conector de banco de dados apropriado.

Alguns bancos de dados NoSQL fornecem um plug-in de banco de dados relacional ODBC ou JDBC. Criar índices dentro de um determinado registro e mostrá-los como uma visão -relacional é uma maneira inteligente de transformar dados não estruturados em um banco de dados de documentos NoSQL em dados que podem ser analisados ​​com uma ferramenta de inteligência de negócios.

Verifique se o seu fornecedor de banco de dados NoSQL fornece ferramentas de visualização ou tem parceiros comerciais com ferramentas que podem se conectar a esses bancos de dados. As ferramentas em voga incluem o Tableau Server, que é um servidor de inteligência empresarial moderno compartilhado que suporta a publicação de relatórios interativos sobre dados em uma variedade de bancos de dados, incluindo bancos de dados NoSQL.