Lar Finanças Pessoais Fase 2 do modelo de processo CRISP-DM: conhecimento de dados - manequins

Fase 2 do modelo de processo CRISP-DM: conhecimento de dados - manequins

Índice:

Vídeo: Ciência de Dados no Combate à Corrupção 2025

Vídeo: Ciência de Dados no Combate à Corrupção 2025
Anonim

Na segunda fase do modelo de processo Cross-Industry Standard for Data Mining (CRISP-DM), você obtém dados e verifica que é apropriado para suas necessidades. Você pode identificar problemas que fazem com que você volte ao entendimento da empresa e revise seu plano. Você pode até descobrir falhas na compreensão do seu negócio, outro motivo para repensar metas e planos.

A fase de compreensão de dados inclui quatro tarefas . Estes são

  • Recolha de dados

  • Descrevendo dados

  • Explorando dados

  • Verificar a qualidade dos dados

Tarefa: Recolher dados

Você acabou de definir metas e definir um plano de mineração de dados. Cada passo do plano depende de ter os dados certos. Melhor se certificar de que você realmente tenha esses dados!

Apenas existe um produto disponível para esta tarefa: o relatório inicial de coleta de dados. No seu relatório, você precisa verificar se você adquiriu os dados ou, pelo menos, obteve acesso aos dados, testou o processo de acesso a dados e verificou se os dados existem. Você também precisará carregar dados em qualquer ferramenta que você esteja usando para mineração de dados para verificar se as ferramentas são compatíveis com os dados.

Você pode fazer muito trabalho para reunir os dados que você precisa antes de poder escrever este relatório. Primeiro, você fará seu plano, da seguinte forma:

  • Requisitos de dados de estrutura de tópicos: Crie uma lista dos tipos de dados necessários para atender os objetivos de mineração de dados. Expanda a lista com detalhes como o intervalo de tempo necessário e os formatos de dados.

  • Verificar a disponibilidade de dados: Confirme se os dados necessários existem e que você pode usá-lo. Se alguns dos dados desejados não estiverem disponíveis, decida como você abordará esse problema. Considere alternativas como

    • Substituindo por uma fonte de dados alternativa

    • Limitando o escopo do projeto

    • Recolher novos dados

  • Definir critérios de seleção: Identificar as fontes de dados específicas (bancos de dados, arquivos, documentos, e assim por diante.) você usará. Nessas fontes, especifique as tabelas, os campos e os intervalos de casos relevantes para este projeto.

Depois de passar por essas etapas, você deve realmente obter os dados. Nesta fase, importe os dados na plataforma de mineração de dados que você estará usando para o projeto para confirmar que é possível fazê-lo e que você entenda o processo. No decorrer deste teste, você pode descobrir limitações de software (ou hardware) que você não antecipou, como

  • Limites na quantidade de casos ou campos, ou na quantidade de memória que você pode usar

  • Incapacidade de ler o formatos de dados de suas fontes

  • Dificuldade em lidar com imperfeições nos dados (por exemplo, você pode encontrar produtos que não importarão ou analisarão conjuntos de dados incompletos)

Finalmente, resuma o processo de coleta em um relatório.O relatório deve descrever os seus requisitos, e explicar com algum detalhe exatamente quais os dados que você reuniu e de que fontes. Aqui você confirma que você realmente obteve os dados e que é compatível com sua plataforma de mineração de dados. Se você tiver tido dificuldades, você explicará o que eles eram e como você os abordou (usando fontes alternativas, revisando planos, mudando formatos).

O produto para esta tarefa é apenas um relatório simples, mas o trabalho que você precisa fazer antes de poder escrever esse relatório não será simples! O acesso a dados pode ser uma das partes mais desafiadoras e frustrantes do processo de mineração de dados, repleto de desafios técnicos e empresariais.

Tarefa: descrevendo dados

Agora que você possui dados, prepare uma descrição geral do que você tem.

O fornecimento para esta tarefa é o relatório de descrição de dados. Nela, você descreve a fonte e os formatos dos dados, o número de casos, o número e as descrições dos campos e qualquer outra informação geral que seja importante. Você também faz uma breve avaliação da adequação dos dados para seus objetivos de mineração de dados. Por exemplo, verifique se os dados incluem os campos que você espera e precisam estar lá e casos suficientes para análise.

Tarefa: Explorando dados

Nesta tarefa, você examina os dados mais de perto. Para cada variável, você olha a gama de valores e suas distribuições. Você usará manipulação de dados simples e técnicas estatísticas básicas para verificações adicionais nos dados. A exploração de dados suporta várias finalidades:

  • Familiarize-se com os dados.

  • Mancha sinais de problemas de qualidade de dados.

  • Preparar o cenário para etapas de preparação de dados.

O produto para esta tarefa é o relatório de exploração de dados. É o lugar para documentar quaisquer hipóteses ou descobertas iniciais que você desenvolveu durante a exploração de dados. Este relatório deve incluir uma descrição mais detalhada dos dados do que o relatório de descrição de dados, incluindo distribuições, resumos e quaisquer sinais de problemas de qualidade de dados.

Tarefa: Verificando a qualidade dos dados

Você tem os dados e você examinou, e agora você deve determinar se é bom o suficiente para suportar seus objetivos. Muitas vezes, você terá algum problema de qualidade para endereço ainda pode avançar, mas às vezes a qualidade dos dados é tão fraca que não pode suportar seu plano e você terá que buscar alternativas. Alguns dos piores problemas de dados incluem

  • Os dados que você precisa não existem. (Nunca existiu, ou foi descartado? Os dados podem ser coletados e guardados para uso futuro?)

  • Existe, mas você não pode ter. (Essa restrição pode ser superada?)

  • Você encontra problemas severos de qualidade de dados (muitos valores faltantes ou incorretos que não podem ser corrigidos).

O produto para esta tarefa é o relatório de qualidade de dados. Isso resume os dados que você tem, os problemas menores e de grande qualidade que você encontrou e possíveis remédios para problemas ou alternativas de qualidade (como usar um recurso de dados alternativo).Se você está enfrentando problemas de qualidade de dados realmente sérios e não consegue identificar uma solução adequada, talvez seja necessário recomendar a reconsideração de metas ou planos.

Fase 2 do modelo de processo CRISP-DM: conhecimento de dados - manequins

Escolha dos editores

Como criar um módulo HTML personalizado no Joomla - dummies

Como criar um módulo HTML personalizado no Joomla - dummies

Uma das grandes coisas sobre o Joomla é o quão incrivelmente flexível é. A instalação padrão do CMS inclui 23 módulos diferentes para ajudá-lo a fazer seu site funcionar sem problemas. Às vezes, no entanto, você pode querer adicionar uma função ao seu site que esses 23 módulos simplesmente não vão cobrir. Sob tais circunstâncias, você pode querer considerar ...

Como criar um item de menu no Joomla Content Management - manequins

Como criar um item de menu no Joomla Content Management - manequins

Um item de menu determina o layout dos artigos, que é um dos aspectos do Joomla para o qual você precisa se acostumar. As páginas da Web não existem fisicamente no Joomla - elas são apenas itens no seu banco de dados - até que a página seja acessada. Quando você abre um artigo, o Joomla tira os dados necessários do ...

Como criar um novo item de menu com o Joomla! 1. 6 - dummies

Como criar um novo item de menu com o Joomla! 1. 6 - dummies

Não estresse se você precisa criar um item de menu em sua página da Web interativa - é fácil ao usar o Joomla! Gerenciador de menu. Para adicionar itens de menu a um site existente, basta usar estas etapas: Escolha Menus → Gerenciador de menus para abrir o Gerenciador de menus. Clique no nome do menu que deseja adicionar um novo ...

Escolha dos editores

Obtendo Ajuda do Eclipse - dummies

Obtendo Ajuda do Eclipse - dummies

Com a complexidade do Java e a nuance do Eclipse, você não pode esperar para lembrar de tudo. Às vezes, você precisa de um pouco mais de ajuda do Eclipse para começar sua programação. Felizmente, o Eclipse oferece ajuda geral e sensível ao contexto: para ajuda sensível ao contexto: no Windows, pressione F1. No Linux, pressione Ctrl + F1. Em um Mac, pressione ...

Software gratuito: preenchimento automático de células no OpenOffice. org Calc - dummies

Software gratuito: preenchimento automático de células no OpenOffice. org Calc - dummies

OpenOffice. org - uma alternativa gratuita para o Microsoft Office - inclui Calc, uma planilha eletrônica semelhante ao Excel. O Calc fornece uma maneira fácil de criar automaticamente uma coluna ou linha de números em qualquer sequência que você especificar. Esse recurso de preenchimento automático é útil para criar listas numeradas ou preencher os cabeçalhos de colunas e linhas de tabelas, como ...

Acessos acessíveis no modo de exibição do Prezi - dummies

Acessos acessíveis no modo de exibição do Prezi - dummies

O prezi possui dois modos de operação diferentes: Modo de edição, no qual você crie sua apresentação e Show Mode, no qual você apresenta suas criações. No modo Show, use esses atalhos úteis para tornar sua apresentação ainda mais suave. Use esta como uma lista de verificação de prática antes de começar: Use esta função: Para fazer isso: Completo ...

Escolha dos editores

Elementos HTML básicos - dummies

Elementos HTML básicos - dummies

HyperText Markup Language (HTML) é o idioma da web, onde os elementos ditaram a formatação e o estilo do seu conteúdo. Os elementos HTML compõem a codificação baixada que você vê quando você acessa uma página da Web em seu navegador da Web (como Internet Explorer, Firefox ou Safari). Aqui estão alguns elementos básicos para você ...

Usando AutoCAD DesignCenter - dummies

Usando AutoCAD DesignCenter - dummies

DesignCenter é um nome tolo para uma paleta útil, se um pouco ocupada. A paleta DesignCenter é útil para dados de mineração de todos os tipos de desenhos. Enquanto a paleta Propriedades está preocupada com as propriedades do objeto, a paleta DesignCenter lida principalmente com objetos nomeados: camadas, tipos de linha, definições de bloco (isto é, símbolo), estilos de texto e outros objetos organizacionais ...

Zoom e Panning no AutoCAD - dummies

Zoom e Panning no AutoCAD - dummies

O AutoCAD facilita a panorâmica, oferecendo barras de rolagem e panning em tempo real. Na panorâmica em tempo real (em oposição à panorâmica de finalização), você pode ver objetos movendo-se na tela enquanto você arrasta o mouse para cima e para baixo ou para frente e para trás. Claro, o ponto de vista está em movimento, não os objetos. Tanto a panorâmica quanto o zoom mudam a visualização ...