9 Leis de Data Mining - dummies

Toda profissão tem seus princípios orientadores, idéias que fornecem estrutura e orientação no trabalho cotidiano. A mineração de dados não é uma exceção. Seguem-se nove idéias fundamentais para guiá-lo enquanto trabalha e se torna um mineiro de dados. Estas são as 9 Leis da Data Mining, tal como foram originalmente declaradas pelo mineiro pioneiro de dados, Thomas Khabaza.

1ª lei: Objetivos de negócios

Aqui está a 1ª Lei da Mineração de Dados, ou "Lei de Objetivos de Negócios": Os objetivos de negócios são a origem de cada solução de mineração de dados.

Você explora dados para encontrar informações que o ajudem a melhorar o negócio. Não deveria ser este o mantra de toda análise de dados empresariais? Claro que deveria! No entanto, os mineradores de dados novatos freqüentemente se concentram em detalhes de tecnologia e outros, o que pode ser interessante, mas não alinhado com as necessidades e objetivos dos decisores executivos.

Você precisa desenvolver o hábito de identificar os objetivos comerciais antes de fazer qualquer outra coisa e focar esses objetivos em cada etapa do processo de mineração de dados. É significativo que esta lei chegue em primeiro lugar. Todos devem entender que a mineração de dados é um processo com um propósito.

2ª lei: conhecimento empresarial

Aqui está a 2ª Lei da Mineração de Dados, ou "Lei de Conhecimento Empresarial": O conhecimento de negócios é central em cada etapa do processo de mineração de dados.

A mineração de dados dá poder às pessoas - empresários - que usam o conhecimento, a experiência e a visão de negócios, juntamente com os métodos de mineração de dados, para encontrar significado nos dados.

Você não precisa ser um estatístico elegante para fazer mineração de dados, mas você precisa saber algo sobre o que os dados significam e como o negócio funciona. Somente quando você entende os dados e o problema que você precisa resolver, os processos de mineração de dados podem ajudá-lo a descobrir informações úteis e colocá-lo para uso.

3ª lei: preparação de dados

Aqui está a 3ª Lei de Mineração de Dados, ou "Lei de Preparação de Dados": A preparação de dados é mais de metade de todo processo de mineração de dados.

Os estatísticos tradicionais muitas vezes têm a oportunidade de coletar novos dados para abordar questões de pesquisa específicas. Eles podem usar processos rigorosos para planejar experimentos, pesquisar questionários de pesquisa de pesquisa ou reunir dados de alta qualidade bem orientados para objetivos de pesquisa específicos. No entanto, depois de tudo isso, eles ainda gastam muito tempo limpando e preparando dados para análise.

Os mineradores de dados, por outro lado, quase sempre têm que trabalhar com qualquer dado disponível. Eles usam registros comerciais existentes, dados públicos ou os dados que podem comprar.As possibilidades são, todos esses dados foram coletados para algum propósito além da mineração de dados, e sem qualquer plano rigoroso ou processo cuidadoso de coleta de dados. Assim, os mineiros de dados passam muito tempo na preparação de dados.

4ª lei: modelo certo

Aqui está a 4ª Lei da Mineração de Dados, ou "NFL-DM": O modelo certo para uma determinada aplicação só pode ser descoberto por experiência.

Esta lei também é conhecida pela abreviatura NFL-DM, o que significa que não existe almoço grátis para o mineiro de dados.

Primeiro, o que é um modelo? É uma equação que representa um padrão observado nos dados. Pelo menos, representa o padrão de forma aproximada. Modelos matemáticos de coisas reais nunca são perfeitos! Este é um fato da vida, e é tão verdadeiro para os físicos nucleares quanto para os mineros de dados.

Na mineração de dados, os modelos são selecionados por meio de tentativa e erro. Você experimentará diferentes tipos de modelo.

5ª lei: Padrão

Aqui está a 5ª Lei da Mineração de Dados: Existem sempre padrões.

Como mineiro de dados, você explorará dados em busca de padrões úteis. Em outras palavras, você estará procurando relacionamentos significativos entre as variáveis ​​nos dados. Compreender essas relações proporciona uma melhor compreensão do negócio e melhores previsões sobre o que acontecerá no futuro. Mais importante ainda, padrões de compreensão nos dados permitem influenciar o que acontecerá no futuro.

Você sempre encontra padrões. Os dados sempre têm algo a dizer. Às vezes, confirma que o que você está fazendo está certo. Isso pode não parecer emocionante, mas pelo menos ele diz que você esteve no caminho certo. Outros dias, os dados podem dizer-lhe que suas práticas comerciais atuais não funcionam. Isso é excitante e, embora não seja agradável a curto prazo, saber que a verdade é um passo importante para a melhoria.

6ª lei: Amplificação

Aqui está a 6ª Lei da Mineração de Dados, ou "Direito de Insight": A mineração de dados amplifica a percepção no domínio comercial.

Os métodos de mineração de dados permitem compreender melhor o seu negócio do que você poderia ter feito sem eles. Os métodos de mineração de dados ajudam você a gostar de um lupa ou um microscópio, permitindo a descoberta de efeitos que seriam difíceis ou impossíveis de detectar através de relatórios comuns.

A mineração de dados não é instantânea.

A descoberta e o aprendizado através da mineração de dados é um processo interativo. Você vai fazer descobertas, descobrir um pouco de cada um deles e usar o que você descobriu para agir. Os resultados de cada ação que você tentarão produzirão mais dados e esses dados permitem que você compreenda algo mais. É um ciclo de descoberta, e o ciclo continua enquanto você continua explorando e experimentando.

7ª lei: Previsão

Aqui está a 7ª Lei da Mineração de Dados, ou "Lei da Predição": A previsão aumenta a informação localmente por generalização.

A mineração de dados ajuda você a usar o que você sabe para fazer melhores previsões (ou estimativas) de coisas que você não conhece. A mineração de dados usa dados e métodos de modelagem para substituir suas expectativas informais por estimativas baseadas em dados, consistentes e mais precisas.

8ª lei: Valor

Aqui está a 8ª Lei da Mineração de Dados, ou "Lei de Valor": O valor dos resultados de mineração de dados não é determinado pela precisão ou estabilidade de modelos preditivos.

Os mineiros de dados não se preocupam com a teoria. Como mineiro de dados, talvez você nunca conheça a teoria dos modelos estatísticos que você usa. Talvez seja também assim, porque na mineração de dados, você vai usar esses modelos de maneiras que não se alinham necessariamente com a teoria por trás deles.

Você procurará modelos que produzam previsões corretas (e você usará testes, ao invés de teoria estatística, para julgar isso). Mas você pode estar mais preocupado com outras questões, como se o modelo faz sentido comercial, ilumina-o sobre fatores preditivos inesperados ou é prático de usar em seu local de trabalho.

9ª Lei: Mudança

Aqui está a 9ª Lei da Mineração de Dados, ou "Lei da Mudança": Todos os padrões estão sujeitos a alterações.

O mundo está sempre mudando. O modelo que lhe dá excelentes previsões hoje pode ser inútil amanhã. Este é um fato da vida para todos os analistas de dados, não apenas mineradores de dados.