Dados desestruturados em um grande ambiente de dados - dummies

Dados não estruturados são dados que não seguem um formato específico para grandes dados. Se 20 por cento dos dados disponíveis para as empresas são dados estruturados, os outros 80 por cento não estão estruturados. Os dados não estruturados são realmente a maioria dos dados que você encontrará. Até recentemente, no entanto, a tecnologia realmente não apoiava muito com isso, exceto armazená-lo ou analisá-lo manualmente.

Fontes de dados grandes não estruturados

Os dados não estruturados estão em toda parte. Na verdade, a maioria das pessoas e organizações realizam suas vidas em torno de dados não estruturados. Assim como com dados estruturados, dados não estruturados são gerados por máquina ou humanos gerados.

Aqui estão alguns exemplos de dados não estruturados gerados por máquina:

• Imagens de satélite: Isso inclui dados meteorológicos ou os dados que o governo captura em suas imagens de vigilância por satélite. Basta pensar no Google Earth, e você obtém a imagem.

• Dados científicos: Isso inclui imagens sísmicas, dados atmosféricos e física de alta energia.

• Fotografias e vídeo: Isso inclui segurança, vigilância e vídeo de tráfego.

• Dados de radar ou sonar: Isso inclui perfis sísmicos veiculares, meteorológicos e oceanográficos.

A lista a seguir mostra alguns exemplos de dados não estruturados gerados por humanos:

• Texto interno para sua empresa: Pense em todo o texto em documentos, logs, resultados de pesquisa e e-mails. A informação da empresa realmente representa uma grande porcentagem da informação de texto no mundo de hoje.

• Dados das redes sociais: Estes dados são gerados a partir das plataformas de redes sociais, como YouTube, Facebook, Twitter, LinkedIn e Flickr.

• Dados móveis: Isso inclui dados como mensagens de texto e informações de localização.

• conteúdo do site: Isso vem de qualquer site que entrega conteúdo não estruturado, como YouTube, Flickr ou Instagram.

E a lista continua.

Algumas pessoas acreditam que o termo dados não estruturados é enganador porque cada documento pode conter sua própria estrutura específica ou formatação com base no software que a criou. No entanto, o que é interno ao documento é realmente não estruturado.

De longe, os dados não estruturados são a maior parte da equação de dados, e os casos de uso para dados não estruturados estão se expandindo rapidamente. Somente no lado do texto, a análise de texto pode ser usada para analisar texto não estruturado e extrair dados relevantes e transformar esses dados em informações estruturadas que podem ser usadas de várias maneiras.

Por exemplo, um exemplo popular de uso de dados grandes é a análise de redes sociais para uso com conversas de clientes de alto volume. Além disso, os dados não estruturados das notas do centro de chamadas, e-mails, comentários escritos em uma pesquisa e outros documentos são analisados ​​para entender o comportamento do cliente. Isso pode ser combinado com mídias sociais de dezenas de milhões de fontes para entender a experiência do cliente.

O papel de um CMS no grande gerenciamento de dados

As organizações armazenam dados não estruturados em bancos de dados. No entanto, eles também utilizam sistemas de gerenciamento de conteúdo corporativo (CMSs) que podem gerenciar o ciclo de vida completo do conteúdo. Isso pode incluir conteúdo da Web, conteúdo do documento e outros meios de formulários.

De acordo com a Associação para o Gerenciamento de Informação e Imagem (AIIM), uma organização sem fins lucrativos que fornece educação, pesquisa e melhores práticas, o Enterprise Content Management (ECM) compreende as "estratégias, métodos e ferramentas usadas para capturar, gerenciar, armazenar, preservar e entregar conteúdo e documentos relacionados aos processos organizacionais. "As tecnologias incluídas no ECM incluem gerenciamento de documentos, gerenciamento de registros, imagens, gerenciamento de fluxo de trabalho, gerenciamento de conteúdo e colaboração.

Uma indústria inteira cresceu em torno do gerenciamento de conteúdo, e muitos fornecedores de gerenciamento de conteúdo estão ampliando suas soluções para lidar com grandes volumes de dados não estruturados. No entanto, novas tecnologias também estão evoluindo para ajudar a suportar dados não estruturados e a análise de dados não estruturados. Alguns deles suportam dados estruturados e não estruturados. Alguns suportam fluxos em tempo real. Estes incluem tecnologias como Hadoop, MapReduce e transmissão.

Os sistemas que são projetados para armazenar conteúdo na forma de sistemas de gerenciamento de conteúdo não são mais soluções autônomas. Em vez disso, é provável que façam parte de uma solução geral de gerenciamento de dados. Por exemplo, sua organização pode monitorar feeds do Twitter que podem, em seguida, desencadear programaticamente uma pesquisa do CMS.

Agora, a pessoa que desencadeou o tweet recebe uma resposta que oferece um local onde o indivíduo pode encontrar o produto que ele ou ela pode estar procurando. O maior benefício é quando esse tipo de interação pode acontecer em tempo real. Ele também ilustra o valor de alavancar dados em tempo real não estruturados, estruturados (dados do cliente sobre a pessoa que tweetou) e semi-estruturados (o conteúdo real no CMS).

A realidade é que você provavelmente usará uma abordagem híbrida para resolver seus grandes problemas de dados. Por exemplo, não faz sentido mover todo seu conteúdo de notícias, por exemplo, para o Hadoop em suas instalações, porque é suposto ajudar a gerenciar dados não estruturados.