Lar Finanças Pessoais Análise e técnicas de extração para dados grandes - manequins

Análise e técnicas de extração para dados grandes - manequins

Índice:

Vídeo: Análise Direta - "Tragédia em Brumadinho - extração de minério e seus riscos" - Dr. Paulo Boggiani 2025

Vídeo: Análise Direta - "Tragédia em Brumadinho - extração de minério e seus riscos" - Dr. Paulo Boggiani 2025
Anonim

Em geral, as soluções de análise de texto para grandes dados usam uma combinação de técnicas estatísticas e de processamento de linguagem natural (PNL) para extrair informações de dados não estruturados. A PNL é um campo amplo e complexo que se desenvolveu nos últimos 20 anos.

Um objetivo primário da PNL é derivar o significado do texto. O processamento da linguagem natural geralmente faz uso de conceitos linguísticos, como estruturas gramaticais e partes da fala. Muitas vezes, a idéia por trás desse tipo de análise é determinar quem fez o que a quem, quando, onde, como e por quê.

A PNL realiza análise em texto em diferentes níveis:

  • Análise hexadêmica / morfológica examina as características de uma palavra individual - incluindo prefixos, sufixos, raízes e partes do discurso (substantivo, verbo, adjetivo e assim por diante) - informações que contribuirão para entender o que a palavra significa no contexto do texto fornecido. A análise lexicológica depende de um dicionário, um dicionário de sinônimos ou qualquer lista de palavras que forneça informações sobre essas palavras.

  • Análise sintática usa estrutura gramatical para dissecar o texto e colocar as palavras individuais no contexto. Aqui você está ampliando seu olhar de uma única palavra para a frase ou a frase completa. Esta etapa pode diagramar a relação entre palavras (a gramática) ou procurar seqüências de palavras que formem frases corretas ou para seqüências de números que representem datas ou valores monetários.

  • Análise semântica determina os possíveis significados de uma frase. Isso pode incluir examinar a ordem das palavras e a estrutura das sentenças e as palavras de desambiguação, relacionando a sintaxe encontrada nas frases, orações e parágrafos.

  • Análise do nível do discurso tenta determinar o significado do texto além do nível da sentença.

Compreender as informações extraídas dos grandes dados

Certas técnicas, combinadas com outras técnicas estatísticas ou linguísticas para automatizar a marcação e marcação de documentos de texto, podem extrair os seguintes tipos de informações:

  • Termos: Outro nome para palavras-chave.

  • Entidades: Muitas vezes chamado entidades nomeadas , são exemplos específicos de abstrações. Exemplos são nomes de pessoas, nomes de empresas, locais geográficos, informações de contato, datas, horários, moedas, títulos e posições, e assim por diante. Por exemplo, o software analítico de texto pode extrair a entidade Jane Doe como uma pessoa referida no texto que está sendo analisado. A entidade 3 de março de 2007 pode ser extraída como uma data, e assim por diante.

  • Fatos: Também chamados relacionamentos , os fatos indicam quem / o que / onde as relações entre duas entidades. John Smith é o CEO da empresa Y e Aspirina reduz a febre são exemplos de fatos.

  • Eventos: Enquanto alguns especialistas utilizam os termos fato , relacionamento , e evento de forma intercambiável, outros distinguem entre eventos e fatos, afirmando que os eventos geralmente contêm uma dimensão de tempo e muitas vezes fazem com que os fatos mudem. Os exemplos incluem uma mudança no gerenciamento dentro de uma empresa ou o status de um processo de vendas.

  • Conceitos: Estes são conjuntos de palavras e frases que indicam uma idéia ou tópico específico com o qual o usuário está preocupado. Por exemplo, o conceito cliente infeliz pode incluir as palavras irritado, desapontado, e confundido e as frases desconectar o serviço, não ligou de volta, e desperdício de dinheiro - entre muitos outros. Assim, o conceito cliente infeliz pode ser extraído sem as palavras infelizes ou cliente aparecendo no texto.

  • Sentimentos: A análise do sentimento é usada para identificar pontos de vista ou emoções no texto subjacente. Algumas técnicas fazem isso classificando o texto como, por exemplo, subjetivo (opinião) ou objetivo (fato), usando técnicas de aprendizagem mecânica ou PNL. A análise do sentimento tornou-se muito popular nos tipos de aplicativos "voz do cliente".

Taxonomias de dados grandes

As taxonomias são muitas vezes críticas para a análise de texto. A taxonomy é um método para organizar a informação em relacionamentos hierárquicos. Às vezes, é referido como uma forma de organizar categorias. Como uma taxonomia define as relações entre os termos que uma empresa usa, torna mais fácil encontrar e depois analisar texto.

Por exemplo, um provedor de serviços de telecomunicações oferece serviços com e sem fio. Dentro do serviço sem fio, a empresa pode apoiar telefones celulares e acesso à Internet. A empresa pode então ter duas ou mais maneiras de categorizar o serviço de celular, como planos e tipos de telefone. A taxonomia poderia atingir todo o caminho até as partes de um telefone em si.

As taxonomias também podem usar sinônimos e expressões alternativas, reconhecendo que o celular, celular e celular são todos iguais. Essas taxonomias podem ser bastante complexas e podem demorar muito para se desenvolver.

Análise e técnicas de extração para dados grandes - manequins

Escolha dos editores

Dicas para direcionar seu filme digital - manequins

Dicas para direcionar seu filme digital - manequins

Como diretor, é seu trabalho levar o filme a vida através de da maneira como seus atores interpretam os personagens e como a equipe filme cada tiro. O diretor trabalha com os atores e a equipe para obter o melhor deles e certifique-se de que a história seja contada através do que eles fazem. Dirigindo seu ...

Dez Wedding DSLR Filmmaking Techniques - dummies

Dez Wedding DSLR Filmmaking Techniques - dummies

Usando sua DSLR para filmar um casamento geralmente reside no final oposto da peça criativa espectro de fazer seu filme de autor. Aqui estão os dez melhores aspectos que você precisa considerar para mantê-lo vivo ao capturar esse evento único na vida. Tenha o equipamento de vídeo certo Você não poderá fazer um casamento até ...

Dez dicas para filmes documentários DSLR - dummies

Dez dicas para filmes documentários DSLR - dummies

Um documentário é uma conta de filme de não ficção de um tópico. Para fazer seu documentário DSLR de qualquer comprimento e assunto em algo que as pessoas acham interessante, considere estas dez dicas. Conheça o tópico que pretende filmar Se você está fazendo um filme de duração de duas horas ou um vídeo on-line de dois minutos, você precisa ...

Escolha dos editores

Como lucrar com a mamãe Blogando sem vender - manequins

Como lucrar com a mamãe Blogando sem vender - manequins

Vender é um termo usado para comprometendo sua integridade, princípios ou moral para ganhar dinheiro ou sucesso. O problema é que, se todos tivessem os mesmos princípios e a definição de integridade, não haveria muita necessidade de diferentes partidos políticos ou religiões. As pessoas podem ser acusadas de vender se eles simplesmente fazem coisas como ...

Como usar corretamente palavras-chave para sua comunidade online - manequins

Como usar corretamente palavras-chave para sua comunidade online - manequins

Quando você tem uma boa idéia de os tipos de palavras-chave para usar em sua comunidade online, é hora de escrever o conteúdo para que pareça natural. Muitas pessoas pimenta palavras-chave liberalmente em torno de suas postagens de blog, artigos da web, sobre páginas e outros conteúdos, o que parece bobo e errado. Embora o uso de palavras-chave seja bom ...

Como colocar anúncios no seu blog - manequins

Como colocar anúncios no seu blog - manequins

Para obter anúncios no site do seu blog, os programas que você Inscreva-se para fornecer-lhe geralmente um pouco de código que você insere em seus modelos de site. Alguns programas têm instruções passo-a-passo para pacotes populares de software de blog, mas esteja ciente de que você também precisará consultar a documentação do seu blog para obter ajuda com ...

Escolha dos editores

Exibindo Números como palavras no Excel - manequins

Exibindo Números como palavras no Excel - manequins

Se você já precisou exibir um número escrito como texto , você provavelmente descobriu que o Excel não oferece essa função. Quando o Excel não entrega, muitas vezes é possível corrigir a deficiência usando o VBA. Aqui está uma função VBA, denominada SPELLDOLLARS, que você pode usar nas fórmulas da planilha. Exemplos de Excel Aqui estão ...

Determinando a audiência para seu modelo financeiro - manequins

Determinando a audiência para seu modelo financeiro - manequins

Que estará visualizando ou usando seu modelo financeiro no futuro ? Se for apenas para seu próprio uso, você ainda deve seguir um bom modelo de design, mas não há necessidade de passar muito tempo na formatação para que pareça legal. Você ainda deve adicionar suposições e documentação de origem para o seu próprio ...

Eliminando células e dados no Excel 2007 - dummies

Eliminando células e dados no Excel 2007 - dummies

No Microsoft Office Excel 2007, quando você precisa excluir dados , remova a formatação em uma seleção de célula ou remova células inteiras, linhas ou colunas, você tem muitas opções dependendo do seu objetivo. O Excel pode executar dois tipos de exclusões de células em uma planilha: limpar dados de células e excluir a célula. Limpar o conteúdo da célula Limpar apenas ...