Lar Finanças Pessoais Como executar dados de treinamento em um modelo de aprendizagem supervisionado de SVM - manequins

Como executar dados de treinamento em um modelo de aprendizagem supervisionado de SVM - manequins

Vídeo: Aula 5 - Sobreajuste, validação cruzada e medição de performance 2024

Vídeo: Aula 5 - Sobreajuste, validação cruzada e medição de performance 2024
Anonim

Antes de poder alimentar o classificador de máquina de vetor de suporte (SVM) com os dados que foram carregados para análises preditivas, você deve dividir o conjunto de dados completo em um conjunto de treinamento e Conjunto de teste.

Felizmente, scikit-learn implementou uma função que o ajudará a dividir facilmente o conjunto de dados completo. A função train_test_split leva como entrada um único conjunto de dados e um valor percentual. O valor percentual é usado para determinar o tamanho do conjunto de teste. A função retorna dois conjuntos de dados: o conjunto de dados de teste (com o tamanho especificado) eo conjunto de dados de treinamento (que usa os dados restantes).

Normalmente, pode-se levar cerca de 70-80 por cento dos dados para usar como um conjunto de treinamento e usar os dados restantes como o conjunto de teste. Mas o conjunto de dados Iris é muito pequeno (apenas 150 instâncias), para que você possa tomar 90 por cento para treinar o modelo e usar os outros 10 por cento como dados de teste para ver como seu modelo preditivo irá realizar.

Digite o seguinte código para dividir seu conjunto de dados: >>>> da importação de sklearn cross_validation >>> X_train, X_test, y_train, y_test = cross_validation. Train_test_split (dados da íris, íris. target, test_size = 0. 10, random_state = 111)

A primeira linha importa a biblioteca de validação cruzada em sua sessão. A segunda linha cria o conjunto de teste de 10 por cento da amostra.

x_train conterá 135 observações e suas características.

y_train conterá 135 rótulos na mesma ordem que as 135 observações.

x_test conterá 15 (ou 10 por cento) observações e suas características.

y_test conterá 15 rótulos na mesma ordem que as 15 observações.

O código a seguir verifica se a divisão é o que você esperava:

>>>> X_train. forma (135, 4) >>> y_train. forma (135,) >>> X_test. forma (15, 4) >>> y_test. shape (15,)

Você pode ver a partir da saída que existem 135 observações com 4 recursos e 135 rótulos no conjunto de treinamento. O conjunto de teste tem 15 observações com 4 recursos e 15 etiquetas.
Muitos iniciantes no campo da análise preditiva esquecem dividir os conjuntos de dados - o que introduz uma falha de projeto sério no projeto. Se as 150 instâncias completas foram carregadas na máquina como dados de treinamento, isso não deixaria dados não vistos para testar o modelo. Então você precisaria recorrer a algumas instâncias de treinamento para testar o modelo preditivo.

Você verá que, em tal situação, o modelo sempre prediz a classe correta - porque você está usando os mesmos dados exatos que você usou para treinar o modelo.O modelo já viu esse padrão antes; Não terá problema em repetir o que é visto. Um modelo preditivo de trabalho precisa fazer previsões para dados que ainda não viu.

Quando você tem uma instância de um classificador SVM, um conjunto de dados de treinamento e um conjunto de dados de teste, você está pronto para treinar o modelo com os dados de treinamento. Digitar o seguinte código na interpretação fará exatamente isso: >>>> svmClassifier. caber (X_train, y_train)

Esta linha de código cria um modelo de trabalho para fazer previsões. Especificamente, um modelo preditivo que irá prever qual classe de Iris pertence um novo conjunto de dados não marcado. A instância svmClassifier terá vários métodos que você pode chamar para fazer várias coisas.

Por exemplo, depois de chamar o método de ajuste, o método mais útil para chamar é o método de previsão. Esse é o método ao qual você irá fornecer novos dados; em troca, prevê o resultado.

Como executar dados de treinamento em um modelo de aprendizagem supervisionado de SVM - manequins

Escolha dos editores

Origem e Design de Hadoop - dummies

Origem e Design de Hadoop - dummies

Então, o que é exatamente isso com o nome engraçado - Hadoop? No seu núcleo, o Hadoop é uma estrutura para armazenar dados em grandes clusters de hardware de commodities - hardware de computador todos os dias acessível e facilmente disponível - e executando aplicativos contra esses dados. Um cluster é um grupo de computadores interligados (conhecido como ...

A arquitetura do porco em Hadoop - dummies

A arquitetura do porco em Hadoop - dummies

"Simples" geralmente significa "elegante" quando se trata de desenhos arquitetônicos para Essa nova mansão do Vale do Silício que você planejou quando o dinheiro começa a rolar depois de implementar o Hadoop. O mesmo princípio se aplica à arquitetura de software. O porco é composto por dois componentes (count 'em, two): O próprio idioma: como prova de que os programadores ...

MapReduce Application Flow em Hadoop - dummies

MapReduce Application Flow em Hadoop - dummies

No seu núcleo, MapReduce é um modelo de programação para o processamento de conjuntos de dados que são armazenados de forma distribuída nos nós de escravo de um cluster Hadoop. O conceito-chave aqui é dividir e conquistar. Especificamente, você deseja quebrar um grande conjunto de dados em muitas peças menores e processá-las em paralelo com o mesmo algoritmo. ...

Escolha dos editores

Apoiando a sua campanha PPC com análise de palavras-chave - manequins

Apoiando a sua campanha PPC com análise de palavras-chave - manequins

A base de todo o trabalho do mecanismo de pesquisa é uma análise de palavras-chave. Fazer uma análise de palavras-chave realmente não é tão complicado e pode significar a diferença entre sucesso e falha em sua campanha PPC. Comece digitando as palavras-chave óbvias em um editor de texto ou processador de texto - aqueles que você já pensou ou, se você ...

Envie seu site para Yahoo! Search Directory - dummies

Envie seu site para Yahoo! Search Directory - dummies

Envios para o Yahoo! O diretório costumava ser muito difícil. Pesquisas mostraram que as pessoas que conseguiram obter seus sites listados no diretório tiveram que tentar várias vezes em questão de meses. Era grátis, mas era um aborrecimento. A boa notícia: você pode obter seu site listado em Yahoo! Diretório ...

Dicas para criar e otimizar conteúdo para objetos e indústrias difíceis - manequins

Dicas para criar e otimizar conteúdo para objetos e indústrias difíceis - manequins

Em A superfície, a criação de conteúdo não soa tão difícil até você se sentar e tentar escrever. Sua estratégia de SEO depende desse conteúdo. É ainda pior se você estiver escrevendo conteúdo para o que muitas pessoas podem considerar uma indústria chata. A boa notícia é que é possível transformar indivíduos potencialmente chatos em bons ...

Escolha dos editores

Componentes eletrônicos: transistores como um potenciômetro mágico - manequins

Componentes eletrônicos: transistores como um potenciômetro mágico - manequins

Um transistor dentro de um O circuito eletrônico funciona como uma combinação de um diodo e um resistor variável, também chamado de potenciômetro ou pote. Mas isso não é apenas um pote comum; é um pote mágico cujo botão é misteriosamente conectado ao diodo por raios invisíveis, tipo desse tipo: quando a tensão direta é aplicada em ...

Componentes eletrônicos: Resistores - manequins

Componentes eletrônicos: Resistores - manequins

Um resistor é um pequeno componente projetado para fornecer um específico quantidade de resistência em um circuito eletrônico. Como a resistência é um elemento essencial de quase todos os circuitos eletrônicos, você usará resistores em quase todos os circuitos que você constrói. Embora os resistores venham em uma variedade de tamanhos e formas, o tipo mais comum ...