Vídeo: continuação da aula sobre análise de dados qualitativos 2024
Existem numerosos métodos para analisar dados não estruturados para sua grande iniciativa de dados. Historicamente, essas técnicas surgiram de áreas técnicas como o Processamento da Linguagem Natural (PNL), descoberta de conhecimento, mineração de dados, recuperação de informações e estatísticas. Análise de texto é o processo de análise de texto não estruturado, extraindo informações relevantes e transformando-a em informações estruturadas que podem ser alavancadas de várias maneiras.
Os processos de análise e extração aproveitam técnicas que se originaram em linguística computacional, estatística e outras disciplinas de ciência da computação.
Às vezes, um exemplo pode ajudar a explicar um tópico complexo. Suponha que você trabalhe para o departamento de marketing em uma empresa de telefonia celular. Você acabou de lançar dois novos planos de chamada - Plano A e Plano B - e você não está recebendo a aceitação desejada no Plano A. O texto desestruturado das notas do centro de chamadas pode lhe dar uma visão sobre o porquê disso aconteceu.
As palavras sublinhadas fornecem a informação que você precisará entender por que o Plano A não está ganhando adoção rápida. Por exemplo, a entidade Plano A aparece em todas as notas do call center, indicando que os relatórios mencionam o plano.
Os termos minutos de roteamento, dados de 4GB, plano de dados, e caros são evidências de que existe um problema com os minutos de roteamento, o plano de dados e o preço. Palavras como ridículas e estúpidas fornecem uma visão do sentimento do chamador, que neste caso é negativo.
O processo de análise de texto usa vários algoritmos, como a compreensão da estrutura das orações, a análise do texto não estruturado e, em seguida, extrai a informação e transforma essa informação em dados estruturados. Os dados estruturados extraídos do texto não estruturado são ilustrados na Tabela 13-1.
| Identificador | Entidade | Problema | Sentimento |
|---|---|---|---|
| Cust XYZ | Plano A | minutos Roll-over | Neutro |
| Cust ABC | Plano A | Minutos de rolo | Negativo |
| XXXX | Plano A | Expensive | Neutral |
| XXXX | Plano A | Plano de dados | Neutro |
| Cust XYT > Plano A | Plano de dados | Negativo | Você pode olhar para isso e dizer: "Mas eu poderia ter percebido isso olhando os registros do call center. "No entanto, estes são apenas um pequeno subconjunto da informação gravada por milhares de agentes do call center. Cada agente individual não pode sentir uma tendência ampla em relação ao problema com cada plano oferecido pela empresa. |
Os agentes não têm o tempo ou o requisito para compartilhar essas informações em todos os outros agentes do call center que podem estar recebendo números semelhantes de chamadas sobre o Plano A. No entanto, após essa informação ser agregada e processada usando algoritmos de análise de texto, uma tendência pode emergir desses dados não estruturados. Isso é o que torna a análise de texto tão poderosa.
Pesquisa é sobre recuperar um documento com base no que os usuários finais já sabem que estão procurando. A análise de texto é sobre a descoberta de informações. Enquanto a análise de texto difere da pesquisa, ela pode aumentar as técnicas de busca. Por exemplo, a análise de texto combinada com a pesquisa pode ser usada para fornecer uma melhor categorização ou classificação de documentos e produzir resúmenes ou resumos de documentos.
Existem quatro tecnologias: consulta, mineração de dados, pesquisa e análise de texto. No lado esquerdo da tabela estão a consulta e pesquisa, que são tanto sobre recuperação quanto para recuperação. Por exemplo, um usuário final pode consultar um banco de dados para descobrir quantos clientes pararam de usar os serviços da empresa no último mês.
A consulta retornaria um único número. Somente ao perguntar mais e consultas diferentes, o usuário final obterá as informações necessárias para determinar por que os clientes estão saindo. Da mesma forma, a pesquisa por palavra-chave permite ao usuário final encontrar os documentos que contêm os nomes dos concorrentes de uma empresa. A pesquisa retornaria um grupo de documentos. Somente ao ler os documentos, o usuário final apresentará quaisquer respostas relevantes.
Recuperação
| Insight | Estruturado | |
|---|---|---|
| Consulta: Retorna dados | Exploração de dados: Insight a partir de dados estruturados | Não estruturado |
| Pesquisa: retorna documentos | Análise de texto: Insight from text < As tecnologias na esquerda retornam informações e requerem interação humana para sintetizar e analisar essa informação. As tecnologias à direita - mineração de dados e análise de texto - fornecem informações muito mais rapidamente. Felizmente, o valor da análise de texto para sua organização está se tornando claro. |
