Vídeo: O Quarteto Fantástico 2006 [Episódio 1.08] - Meu Vizinho era um Skrull 2024
A abordagem de validação para o aprendizado da máquina é um exame de um possível remédio para o viés na amostragem. O viés na amostragem pode acontecer com seus dados antes que o aprendizado da máquina seja posto em ação, e causa alta variação das seguintes estimativas. Além disso, você deve estar ciente das armadilhas de vazamento que podem ocorrer quando algumas informações da amostra fora da amostra passam para os dados na amostra. Esta questão pode surgir quando você prepara os dados ou depois que seu modelo de aprendizado de máquina está pronto e está funcionando.
O remédio, que se denomina ensembling de preditores, funciona perfeitamente quando sua amostra de treinamento não está completamente distorcida e sua distribuição é diferente da fora da amostra, mas não de forma irremediável, como como quando todas as suas aulas estão presentes, mas não na proporção certa (como exemplo). Nesses casos, seus resultados são afetados por uma certa variância das estimativas que você pode estabilizar de várias maneiras: por reescrever, como no bootstrap; por subamostragem (tomando uma amostra da amostra); ou usando amostras menores (o que aumenta o viés).
Para entender o quanto as coisas funcionam tão eficazmente, visualize a imagem de um olho de touro. Se sua amostra está afetando as previsões, algumas previsões serão exatas e outras estarão erradas de forma aleatória. Se você mudar sua amostra, as previsões corretas continuarão a ser corretas, mas as erradas começarão a ser variações entre diferentes valores. Alguns valores serão a previsão exata que você está procurando; outros simplesmente oscilarão em torno da direita.
Ao comparar os resultados, você pode adivinhar que o que é recorrente é a resposta certa. Você também pode tomar uma média das respostas e adivinhar que a resposta certa deve estar no meio dos valores. Com o jogo de olho de bocejo, você pode visualizar fotos superpostas de diferentes jogos: se o problema for variância, em última análise você adivinará que o alvo está na área mais freqüentemente atingida ou pelo menos no centro de todos os tiros.
Na maioria dos casos, tal abordagem revela-se correta e melhora muito bem suas previsões de aprendizagem de máquinas. Quando o seu problema é viés e não variância, o uso de ensembling realmente não causa danos, a menos que você suba amostras muito poucas. Uma boa regra de submissão para submeter uma amostra de 70 para 90 por cento em comparação com os dados originais na amostra. Se você quiser fazer um trabalho de ensemblagem, você deve fazer o seguinte:
- Iterate um grande número de vezes através de seus dados e modelos (de apenas um mínimo de três iterações para idealmente centenas de vezes).
- Toda vez que você itera, subamostra (ou então bootstrap) seus dados na amostra.
- Use a aprendizagem da máquina para o modelo nos dados recontados e preveja os resultados fora da amostra. Armazene esses resultados para uso posterior.
- No final das iterações, para cada caso fora da amostra, você deseja prever, tomar todas as suas previsões e medí-las se estiver fazendo uma regressão. Faça a aula mais frequente se estiver fazendo uma classificação.
As armadilhas de fuga podem surpreendê-lo porque podem revelar-se uma fonte desconhecida e não detectada de problemas com seus processos de aprendizagem de máquinas. O problema é bisbilhotar, ou de outra forma observar os dados fora da amostra demais e adaptá-lo com muita frequência. Em suma, o snooping é uma espécie de superposição - e não apenas nos dados de treinamento, mas também nos dados do teste, tornando o problema de superposição em si mesmo mais difícil de detectar até obter dados novos.
Normalmente, você percebe que o problema está espancando quando você já aplicou o algoritmo de aprendizado da máquina para o seu negócio ou para um serviço para o público, tornando o problema um problema que todos podem ver.
Você pode evitar bisbilhotar de duas maneiras. Primeiro, ao operar nos dados, tome cuidado para separar separadamente os dados de treinamento, validação e teste. Além disso, ao processar, nunca tire nenhuma informação de validação ou teste, mesmo os exemplos mais simples e inocentes. Pior ainda é aplicar uma transformação complexa usando todos os dados.
Em finanças, por exemplo, é bem sabido que o cálculo da média e do desvio padrão (que pode realmente dizer-lhe muito sobre as condições do mercado e o risco) de todos os dados de treinamento e teste podem vazar informações preciosas sobre seus modelos. Quando ocorre vazamento, os algoritmos de aprendizado de máquina executam previsões no conjunto de testes em vez dos dados fora da amostra dos mercados, o que significa que eles não funcionaram, causando assim uma perda de dinheiro.
Verifique o desempenho de seus exemplos fora da amostra. Na verdade, você pode trazer algumas informações do seu snooping nos resultados do teste para ajudá-lo a determinar que certos parâmetros são melhores do que outros, ou levá-lo a escolher um algoritmo de aprendizagem de máquina em vez de outro. Para cada modelo ou parâmetro, aplique sua escolha com base em resultados de validação cruzada ou na amostra de validação. Nunca se engane por tirar de seus dados fora da amostra ou você se arrependerá mais tarde.
