Vídeo: Inteligência Artificial com R - Classificando Flores [#2] 2024
Mesmo que você tenha exemplos suficientes para treinar algoritmos simples e complexos de aprendizagem de máquinas, eles devem apresentar valores completos nas características, sem dados faltantes. Ter um exemplo incompleto torna a conexão de todos os sinais dentro e entre recursos impossíveis. Os valores que faltam também dificultam o aprendizado durante o treinamento. Você deve fazer algo sobre os dados faltantes.
Na maioria das vezes, você pode ignorar valores em falta ou repará-los adivinhando um valor de substituição provável. No entanto, muitos valores faltantes representam previsões mais incertas porque a falta de informação pode ocultar qualquer figura possível; conseqüentemente, os valores mais faltantes nos recursos, mais variáveis e imprecisas as previsões.
Como primeiro passo, conte o número de casos em falta em cada variável. Quando uma variável tem muitos casos faltando, talvez seja necessário soltá-lo do conjunto de dados de treinamento e teste. Uma boa regra de ouro é soltar uma variável se faltam mais de 90% de suas instâncias.
Alguns algoritmos de aprendizado não sabem como lidar com valores faltantes e reportar erros nas fases de treinamento e teste, enquanto outros modelos os tratam como valores zero, causando uma subestimação do valor ou probabilidade prevista (É como se uma parte da fórmula não funcionasse corretamente). Consequentemente, é necessário substituir todos os valores em falta na sua matriz de dados com algum valor adequado para que o aprendizado da máquina ocorra corretamente.
Existem muitas razões para os dados em falta, mas o ponto essencial é se os dados faltam aleatoriamente ou em uma ordem específica. Os dados faltantes aleatórios são ideais porque você pode adivinhar seu valor usando uma média simples, uma mediana ou outro algoritmo de aprendizado de máquina, sem muitas preocupações. Alguns casos contêm um forte viés em relação a certos tipos de exemplos.
Por exemplo, pense no caso de estudar a renda de uma população. As pessoas ricas (por razões de tributação, presumivelmente) tendem a ocultar sua verdadeira renda informando que não conhecem. As pessoas pobres, por outro lado, podem dizer que não querem relatar seus rendimentos por medo de julgamento negativo. Se você perde informações de certos estratos da população, reparar os dados que faltam pode ser difícil e enganosa porque você pode pensar que esses casos são como os outros.
Em vez disso, são bastante diferentes. Portanto, você não pode simplesmente usar valores médios para substituir os valores perdidos - você deve usar abordagens complexas e sintonizá-las com cuidado.Além disso, identificar casos que não estão faltando dados aleatoriamente é difícil porque requer uma inspeção mais detalhada de como os valores faltantes estão associados a outras variáveis no conjunto de dados.
Quando os dados faltam ao acaso, você pode facilmente consertar os valores vazios porque você obtém dicas para o seu valor real de outras variáveis. Quando os dados não faltam aleatoriamente, você não pode obter boas sugestões de outras informações disponíveis, a menos que você entenda a associação de dados com o caso faltando.
Portanto, se você precisa descobrir renda perdida em seus dados, e está faltando porque a pessoa é rica, você não pode substituir o valor perdido por uma média simples porque você irá substituí-lo por um rendimento médio. Em vez disso, você deve usar uma média da renda das pessoas ricas como uma substituição.
Quando os dados não faltam aleatoriamente, o fato de que o valor está faltando é informativo porque ajuda a rastrear o grupo faltando. Você pode deixar a tarefa de procurar o motivo que falta ao seu algoritmo de aprendizado de máquina criando um novo recurso binário que relata quando falta o valor de uma variável. Consequentemente, o algoritmo de aprendizagem da máquina descobrirá o melhor valor para usar como uma substituição por si só.
