Vídeo: 2ª Edição do Pardini Investor's Day 2024
Os dados contidos em bancos de dados, documentos, e-mails e outros arquivos de dados para análise preditiva podem ser classificados como dados estruturados ou não estruturados. Os dados estruturados estão bem organizados, seguem uma ordem consistente, são relativamente fáceis de pesquisar e consultar e podem ser facilmente acessados e entendidos por uma pessoa ou por um programa de computador.
Um exemplo clássico de dados estruturados é uma planilha do Excel com colunas rotuladas. Tais dados estruturados são consistentes; cabeçalhos de coluna - geralmente breves, descrições precisas do conteúdo em cada coluna - indicam exatamente o tipo de conteúdo a ser esperado.
Os dados estruturados geralmente são armazenados em esquemas bem definidos, como bancos de dados. Geralmente é tabular, com colunas e linhas que definem claramente seus atributos.
Dados não estruturados , por outro lado, tendem a ser de forma livre, não tabular, dispersos e não facilmente recuperáveis; Esses dados requerem uma intervenção deliberada para dar sentido a isso. Outros e-mails, documentos, páginas da web e arquivos (sejam eles texto, áudio e / ou vídeo) em locais dispersos são exemplos de dados não estruturados.
É difícil categorizar o conteúdo de dados não estruturados. Ele tende a ser principalmente texto, geralmente é criado em uma mistura de estilos de forma livre, e encontrar todos os atributos que você pode usar para descrevê-lo ou agrupá-lo não é uma tarefa pequena.
O conteúdo de dados não estruturados é difícil de trabalhar ou fazer sentido de forma programática. Os programas de computador não podem analisar ou gerar relatórios sobre esses dados, simplesmente porque não possui estrutura, não possuem características dominantes subjacentes, e os itens individuais de dados não possuem um terreno comum.
Em geral, há uma porcentagem maior de dados não estruturados do que dados estruturados no mundo. Os dados não estruturados exigem mais trabalho para torná-lo útil, de modo que recebe mais atenção - tende a consumir mais tempo.
Não subestime a importância dos dados estruturados e do poder que ele traz para sua análise. É muito mais eficiente analisar dados estruturados do que analisar dados não estruturados. Os dados não estruturados também podem ser dispendiosos para o préprocesso de análise à medida que você está construindo um projeto de análise preditiva. A seleção de dados relevantes, sua limpeza e transformações subsequentes podem ser longas e tediosas.
Os dados recém-organizados resultantes dessas etapas de pré-processamento necessárias podem então ser usados em um modelo de análise preditiva. A transformação por atacado de dados não estruturados, no entanto, pode ter que esperar até que seu modelo de análise preditiva esteja funcionando.
A mineração de dados e a análise de texto são duas abordagens para estruturar documentos de texto, vincular seus conteúdos, agrupar e resumir seus dados e descobrir padrões nesses dados. Ambas as disciplinas fornecem uma estrutura rica de algoritmos e técnicas para explorar o texto espalhado por um mar de documentos.
Também vale a pena notar que as plataformas dos mecanismos de pesquisa fornecem ferramentas prontamente disponíveis para indexar dados e torná-lo pesquisável.
Vamos comparar dados estruturados e não estruturados.
| Características | Estruturado | Não estruturado |
|---|---|---|
| Associação | Organizado | Esparcido e disperso |
| Aparência | Formalmente definido | Forma livre |
| Acessibilidade | Fácil de usar acesso e consulta | Difícil de acessar e consulta |
| Disponibilidade | Porcentagem inferior | Porcentagem superior |
| Análise | Eficiente para analisar | O pré-processamento adicional é necessário |
Os dados não estruturados não são completamente Falta estrutura - você só precisa descobrir isso. Mesmo o texto dentro de arquivos digitais ainda possui alguma estrutura associada a ele, muitas vezes aparecendo nos metadados - por exemplo, títulos de documentos, datas em que os arquivos foram modificados pela última vez e os nomes de seus autores.
O mesmo se aplica aos e-mails: o conteúdo pode não estar estruturado, mas os dados estruturados estão associados a eles - por exemplo, a data e a hora em que foram enviados, os nomes de seus remetentes e destinatários, se eles possuem anexos.
A linha de separação entre os dois tipos de dados nem sempre é clara. Em geral, você sempre pode encontrar alguns atributos de dados não estruturados que podem ser considerados dados estruturados. Se essa estrutura reflete o conteúdo desses dados - ou útil na análise de dados - não está claro, na melhor das hipóteses.
Para esse assunto, os dados estruturados podem conter dados não estruturados dentro dele. Em um formulário da Web, por exemplo, os usuários podem ser convidados a dar feedback sobre um produto, escolhendo uma resposta de várias opções -, mas também apresentou uma caixa de comentários onde eles podem fornecer comentários adicionais.
As respostas de múltiplas escolhas estão estruturadas; O campo de comentários não é estruturado devido à sua natureza de forma livre. Esses casos são melhor entendidos como uma combinação de dados estruturados e não estruturados. A maioria dos dados é um composto de ambos.
Para um projeto de análise preditiva bem-sucedido, tanto seus dados estruturados quanto não estruturados devem ser combinados em um formato lógico que pode ser analisado.
