Vídeo: Mineração de dados 2024
A mineração de dados envolve a exploração e análise de grandes quantidades de dados para encontrar padrões para grandes dados. As técnicas surgiram dos campos das estatísticas e da inteligência artificial (AI), com um pouco de gerenciamento de banco de dados jogado na mistura.
Geralmente, o objetivo da mineração de dados é classificação ou previsão. Na classificação, a idéia é classificar os dados em grupos. Por exemplo, um comerciante pode estar interessado nas características daqueles que responderam versus quem não respondeu a uma promoção.
Estas são duas classes. Na predição, a idéia é prever o valor de uma variável contínua. Por exemplo, um comerciante pode estar interessado em prever aqueles que responderão a uma promoção.
Os algoritmos típicos utilizados na mineração de dados incluem o seguinte:
-
Árvores de classificação: Uma técnica de mineração de dados popular que é usada para classificar uma variável categórica dependente com base em medidas de uma ou mais variáveis preditoras. O resultado é uma árvore com nós e links entre os nós que podem ser lidos para formar se - então, regras.
-
Regressão logística: Uma técnica estatística que é uma variante da regressão padrão, mas amplia o conceito para lidar com a classificação. Ele produz uma fórmula que prediz a probabilidade da ocorrência como uma função das variáveis independentes.
-
Redes neurais: Um algoritmo de software que é modelado após a arquitetura paralela dos cérebros dos animais. A rede consiste em nós de entrada, camadas ocultas e nós de saída. Cada unidade recebe um peso. Os dados são dados ao nó de entrada, e por um sistema de teste e erro, o algoritmo ajusta os pesos até encontrar um certo critério de parada. Algumas pessoas compararam isso com uma abordagem de caixa preta.
-
Técnicas de agrupamento como vizinhos K-mais próximos: Uma técnica que identifica grupos de registros similares. A técnica do vizinho mais próximo calcula as distâncias entre o registro e os pontos nos dados históricos (treinamento). Ele então atribui esse registro à classe de seu vizinho mais próximo em um conjunto de dados.
Aqui está um exemplo de árvore de classificação. Considere a situação em que uma companhia de telefone quer determinar quais clientes residenciais podem desconectar seu serviço.
A companhia telefônica possui informações que consistem nos seguintes atributos: quanto tempo a pessoa teve o serviço, quanto ele gasta no serviço, se o serviço tem sido problemático, quer ele tenha o melhor plano de chamada que ele precisa, onde ele vidas, quantos anos ele tem, se ele tem outros serviços agrupados, informações competitivas sobre outros planos de operadoras e se ele ainda tem o serviço.
Claro, você pode encontrar muitos outros atributos do que isso. O último atributo é a variável de resultado; Isto é o que o software usará para classificar os clientes em um dos dois grupos - talvez chamados de stayers e riscos de vôo.
O conjunto de dados é dividido em dados de treinamento e um conjunto de dados de teste. Os dados de treinamento consistem em observações (chamados atributos) e uma variável de resultado (binária no caso de um modelo de classificação) - neste caso, os stayers ou os riscos de vôo.
O algoritmo é executado sobre os dados de treinamento e vem com uma árvore que pode ser lida como uma série de regras. Por exemplo, se os clientes estiveram com a empresa há mais de dez anos e têm mais de 55 anos, é provável que permaneçam como clientes fiéis.
Essas regras são executadas em cima do conjunto de dados de teste para determinar o quão bom este modelo está em "novos dados". "As medidas de precisão são fornecidas para o modelo. Por exemplo, uma técnica popular é a matriz de confusão. Esta matriz é uma tabela que fornece informações sobre quantos casos foram corretamente contra incorretamente classificados.
Se o modelo parece ser bom, ele pode ser implantado em outros dados, pois está disponível (isto é, usá-lo para prever novos casos de risco de vôo). Com base no modelo, a empresa pode decidir, por exemplo, enviar ofertas especiais para aqueles clientes que acha que são riscos de vôo.
