Vídeo: Lecture 09 - The Linear Model II 2024
Ser capaz de validar uma hipótese de aprendizagem de máquina efetivamente permite uma maior otimização do algoritmo escolhido. O algoritmo fornece a maior parte do desempenho preditivo em seus dados, dada a sua capacidade de detectar sinais a partir de dados e ajustar a verdadeira forma funcional da função preditiva sem superação e gerando muita variação das estimativas. Nem todo algoritmo de aprendizado de máquina é o melhor para seus dados, e nenhum algoritmo único pode atender a todos os problemas. Cabe a você encontrar o ideal para um problema específico.
Uma segunda fonte de desempenho preditivo são os dados propriamente ditos quando adequadamente transformados e selecionados para aprimorar as capacidades de aprendizagem do algoritmo escolhido.
A fonte final de desempenho deriva do ajuste fino do hiper-parâmetros do algoritmo, que são os parâmetros que você decide antes do aprendizado e que não são aprendidos com os dados. O seu papel é definir uma hipótese a priori, enquanto outros parâmetros especificam a posteriori, depois que o algoritmo interage com os dados e, ao usar um processo de otimização, descobre que determinados valores de parâmetros Trabalhar melhor na obtenção de boas previsões.
Nem todos os algoritmos de aprendizagem de máquinas exigem muito ajuste de hiper parâmetros, mas alguns dos mais complexos fazem, e embora tais algoritmos ainda funcionem fora da caixa, puxar as alavancas direitas pode fazer uma grande diferença na correção das previsões. Mesmo quando os hiper-parâmetros não são aprendidos com os dados, você deve considerar os dados em que você está trabalhando ao decidir os hiper-parâmetros, e você deve fazer a escolha com base na validação cruzada e na avaliação cuidadosa das possibilidades.
Algoritmos complexos de aprendizagem de máquinas, os mais expostos à variação de estimativas, apresentam muitas opções expressas em um grande número de parâmetros. Twiddling com eles faz com que eles se adaptem mais ou menos aos dados de que estão aprendendo. Às vezes, o excesso de parâmetros hiper-parâmetro pode mesmo fazer com que o algoritmo detecte sinais falsos a partir dos dados. Isso faz com que os hiper-parâmetros sejam uma fonte de variação não detectada se você começar a manipulá-los demais com base em alguma referência fixa como um conjunto de testes ou um esquema de validação cruzada repetido.
Tanto R como Python oferecem funcionalidades de corte que cortam sua matriz de entrada em peças de trem, teste e validação. Em particular, para procedimentos de teste mais complexos, como validação cruzada ou bootstrapping, o pacote Scikit-learn oferece um módulo inteiro e R possui um pacote especializado, oferecendo funções para divisão de dados, pré-processamento e testes.Este pacote é chamado de caret.
As possíveis combinações de valores que os hiper-parâmetros podem formar fazem decidir onde procurar otimizações difíceis. Conforme descrito ao discutir a descida de gradiente, um espaço de otimização pode conter combinações de valores que melhoram o desempenho. Mesmo depois de encontrar uma boa combinação, você não tem certeza de que é a melhor opção. (Este é o problema de ficar preso em mínimos locais ao minimizar o erro.)
Como forma prática de resolver esse problema, a melhor maneira de verificar hiper-parâmetros para um algoritmo aplicado a dados específicos é testá-los todos validação cruzada, e escolher a melhor combinação. Esta abordagem simples, chamada de busca por grade, oferece vantagens indiscutíveis, permitindo que você experimente o intervalo de valores possíveis para inserir o algoritmo de forma sistemática e detectar quando ocorre o mínimo geral.
Por outro lado, a busca em grade também tem graves desvantagens porque é computacionalmente intensiva (você pode facilmente realizar esta tarefa em paralelo em computadores multinacionais modernos) e bastante demorado. Além disso, testes sistemáticos e intensivos aumentam a possibilidade de incorrer em erro porque alguns bons resultados de validação falsos podem ser causados pelo ruído presente no conjunto de dados.
Algumas alternativas para pesquisa em grade estão disponíveis. Em vez de testar tudo, você pode tentar explorar o espaço de possíveis valores de hiper-parâmetros guiados por técnicas computacionalmente pesadas e matematicamente complexas de otimização não-linear (como o método Nelder-Mead), usando uma abordagem bayesiana (onde o número de testes é minimizado tomando vantagem de resultados anteriores) ou usando busca aleatória.
Surpreendentemente, a pesquisa aleatória funciona incrivelmente bem, é simples de entender, e não é apenas baseada em sorte cega, embora possa parecer inicialmente. Na verdade, o ponto principal da técnica é que, se você escolher testes aleatórios suficientes, você realmente possui possibilidades suficientes para detectar os parâmetros certos sem desperdiçar energia ao testar combinações ligeiramente diferentes de combinações similares.
A representação gráfica abaixo explica por que a pesquisa aleatória funciona bem. Uma exploração sistemática, embora útil, tende a testar todas as combinações, o que se transforma em um desperdício de energia se alguns parâmetros não influenciarem o resultado. Uma pesquisa aleatória realmente testa menos combinações, mas mais no intervalo de cada hiper-parâmetro, uma estratégia que prova ganhar se, como muitas vezes acontece, certos parâmetros são mais importantes do que outros.
Para que a pesquisa aleatória seja boa, você deve fazer de 15 a um máximo de 60 testes. Faz sentido recorrer a pesquisas aleatórias se uma busca em grade requer um maior número de experimentos.
