Lar Finanças Pessoais Como preparar dados para análise preditiva - manequins

Como preparar dados para análise preditiva - manequins

Índice:

Vídeo: Excel 2013 Usando Data Mining para Análise Preditiva 2024

Vídeo: Excel 2013 Usando Data Mining para Análise Preditiva 2024
Anonim

Quando você está aprendendo uma nova linguagem de programação, é costume escrever o programa "Olá mundo". Para a aprendizagem de máquinas e análises preditivas, a criação de um modelo para classificar o conjunto de dados Iris é o programa equivalente "Olá mundo". Este é um exemplo bastante simples, mas é muito eficaz em ensinar os conceitos básicos de aprendizagem mecânica e análises preditivas.

Como obter o conjunto de dados de amostra

Para criar nosso modelo preditivo, você precisará baixar o conjunto de dados de amostra do Iris. Este conjunto de dados está disponível gratuitamente em várias fontes, especialmente em instituições acadêmicas que possuem departamentos de aprendizagem em máquina. Felizmente, as pessoas foram boas o suficiente para incluir alguns conjuntos de dados de amostra e funções de carregamento de dados, juntamente com o pacote deles. Para os fins desses exemplos, você só precisará executar algumas linhas simples de código para carregar os dados.

Como rotular seus dados

Aqui está uma observação e seus recursos de cada classe do conjunto de dados da Flor Iris.

Comprimento Sepal Largura Sepal Comprimento da pétala Largura da pétala Classe alvo / Etiqueta
5. 1 3. 5 1. 4 0. 2 Setosa (0)
7. 0 3. 2 4. 7 1. 4 Versicolor (1)
6. 3 3. 3 6. 0 2. 5 Virginica (2)

O conjunto de dados da flor Iris é um conjunto de dados multivariável real de três classes da flor Iris ( Iris setosa, Iris virginica, e Iris versicolor ) introduzidas por Ronald Fisher, em seu artigo de 1936, "O uso de medidas múltiplas em problemas taxonômicos". "Este conjunto de dados é mais conhecido por seu uso extensivo na academia para aprendizado de máquinas e estatísticas.

O conjunto de dados é composto por 150 casos totais, com 50 instâncias de cada uma das 3 classes da flor Iris. A amostra tem 4 recursos (também comumente chamados atributos ), que são as medidas de comprimento e largura das sepalas e pétalas.

A parte interessante deste conjunto de dados é que as três classes são separadamente linearmente separáveis. A classe Setosa pode ser separada das outras duas classes desenhando uma linha reta no gráfico entre elas. As classes Virginica e Versicolor não podem ser perfeitamente separadas usando uma linha reta - embora seja próxima. Isso torna um conjunto de dados perfeito para fazer análise de classificação, mas não é tão bom para a análise de agrupamento.

Os dados da amostra já foram rotulados. A coluna direita (Etiqueta) acima mostra os nomes de cada classe da flor Iris.O nome da classe é chamado de rótulo ou um alvo ; geralmente é atribuído a uma variável chamada y . É basicamente o resultado ou o resultado do que está sendo previsto.

Em estatísticas e modelagem, muitas vezes é referido como variável dependente . Depende das entradas que correspondem ao comprimento e largura do sépalo e ao comprimento e largura da pétala.

Você também pode querer saber o que é diferente sobre o conjunto de dados Iris pré-processado scikit, em comparação com o conjunto de dados original. Para descobrir, você precisa obter o arquivo de dados original. Você pode fazer uma pesquisa do Google conjunto de dados de íris e baixá-lo ou visualizá-lo de qualquer uma das instituições acadêmicas.

O resultado que geralmente aparece primeiro é o repositório de conjuntos de dados da Universidade da Califórnia Irvine (UCI). O conjunto de dados Iris em seu estado original do repositório UCI de aprendizagem em máquina pode ser encontrado no site da UCI.

Se você baixá-lo, você deve poder visualizá-lo com qualquer editor de texto. Ao visualizar os dados no arquivo, você notará que existem cinco colunas em cada linha. As primeiras quatro colunas são as medições (denominadas características ) e a última coluna é o rótulo. O rótulo difere entre as versões original e scikit do conjunto de dados Iris.

Outra diferença é a primeira linha do arquivo de dados. Inclui uma linha de cabeçalho usada pela função de carregamento de dados do scikit. Não tem efeito sobre os próprios algoritmos.

Normalização de recursos para números em vez de mantê-los como texto facilita o processamento dos algoritmos - e é muito mais eficiente em termos de memória. Isso é especialmente evidente se você executar conjuntos de dados muito grandes com muitos recursos - o que geralmente acontece em cenários reais.

Aqui estão os dados de amostra de ambos os arquivos. Todas as colunas de dados são as mesmas, exceto para o Col5. Note-se que scikit tem nomes de classe com rótulos numéricos; O arquivo original possui rótulos de texto.

Fonte Col1 Col2 Col3 Col4 Col5
scikit 5. 1 3. 5 1. 4 0. 2 0
original 5. 1 3. 5 1. 4 0. 2 Iris-setosa
scikit 7. 0 3. 2 4. 7 1. 4 1
original 7. 0 3. 2 4. 7 1. 4 Iris-versicolor
scikit 6. 3 3. 3 6. 0 2. 5 2
original 6. 3 3. 3 6. 0 2. 5 Iris-virginica
Como preparar dados para análise preditiva - manequins

Escolha dos editores

Origem e Design de Hadoop - dummies

Origem e Design de Hadoop - dummies

Então, o que é exatamente isso com o nome engraçado - Hadoop? No seu núcleo, o Hadoop é uma estrutura para armazenar dados em grandes clusters de hardware de commodities - hardware de computador todos os dias acessível e facilmente disponível - e executando aplicativos contra esses dados. Um cluster é um grupo de computadores interligados (conhecido como ...

A arquitetura do porco em Hadoop - dummies

A arquitetura do porco em Hadoop - dummies

"Simples" geralmente significa "elegante" quando se trata de desenhos arquitetônicos para Essa nova mansão do Vale do Silício que você planejou quando o dinheiro começa a rolar depois de implementar o Hadoop. O mesmo princípio se aplica à arquitetura de software. O porco é composto por dois componentes (count 'em, two): O próprio idioma: como prova de que os programadores ...

MapReduce Application Flow em Hadoop - dummies

MapReduce Application Flow em Hadoop - dummies

No seu núcleo, MapReduce é um modelo de programação para o processamento de conjuntos de dados que são armazenados de forma distribuída nos nós de escravo de um cluster Hadoop. O conceito-chave aqui é dividir e conquistar. Especificamente, você deseja quebrar um grande conjunto de dados em muitas peças menores e processá-las em paralelo com o mesmo algoritmo. ...

Escolha dos editores

Apoiando a sua campanha PPC com análise de palavras-chave - manequins

Apoiando a sua campanha PPC com análise de palavras-chave - manequins

A base de todo o trabalho do mecanismo de pesquisa é uma análise de palavras-chave. Fazer uma análise de palavras-chave realmente não é tão complicado e pode significar a diferença entre sucesso e falha em sua campanha PPC. Comece digitando as palavras-chave óbvias em um editor de texto ou processador de texto - aqueles que você já pensou ou, se você ...

Envie seu site para Yahoo! Search Directory - dummies

Envie seu site para Yahoo! Search Directory - dummies

Envios para o Yahoo! O diretório costumava ser muito difícil. Pesquisas mostraram que as pessoas que conseguiram obter seus sites listados no diretório tiveram que tentar várias vezes em questão de meses. Era grátis, mas era um aborrecimento. A boa notícia: você pode obter seu site listado em Yahoo! Diretório ...

Dicas para criar e otimizar conteúdo para objetos e indústrias difíceis - manequins

Dicas para criar e otimizar conteúdo para objetos e indústrias difíceis - manequins

Em A superfície, a criação de conteúdo não soa tão difícil até você se sentar e tentar escrever. Sua estratégia de SEO depende desse conteúdo. É ainda pior se você estiver escrevendo conteúdo para o que muitas pessoas podem considerar uma indústria chata. A boa notícia é que é possível transformar indivíduos potencialmente chatos em bons ...

Escolha dos editores

Componentes eletrônicos: transistores como um potenciômetro mágico - manequins

Componentes eletrônicos: transistores como um potenciômetro mágico - manequins

Um transistor dentro de um O circuito eletrônico funciona como uma combinação de um diodo e um resistor variável, também chamado de potenciômetro ou pote. Mas isso não é apenas um pote comum; é um pote mágico cujo botão é misteriosamente conectado ao diodo por raios invisíveis, tipo desse tipo: quando a tensão direta é aplicada em ...

Componentes eletrônicos: Resistores - manequins

Componentes eletrônicos: Resistores - manequins

Um resistor é um pequeno componente projetado para fornecer um específico quantidade de resistência em um circuito eletrônico. Como a resistência é um elemento essencial de quase todos os circuitos eletrônicos, você usará resistores em quase todos os circuitos que você constrói. Embora os resistores venham em uma variedade de tamanhos e formas, o tipo mais comum ...