Valores em falta em seus dados - dummies

Um dos problemas de dados mais freqüentes e mais complicados a serem tratados é a falta de dados. Os arquivos podem estar incompletos porque os registros foram descartados ou um dispositivo de armazenamento preenchido. Ou certos campos de dados podem não conter dados para alguns registros. O primeiro desses problemas pode ser diagnosticado simplesmente verificando contagens de registros para arquivos. O segundo problema é mais difícil de lidar.

Para colocá-lo em termos simples, quando você encontra um campo contendo valores ausentes, você tem duas opções:

• Ignore-o.

• Cole algo no campo.

Ignorando o problema

Em alguns casos, você pode simplesmente encontrar um único campo com uma grande quantidade de valores em falta. Se assim for, a coisa mais fácil de fazer é simplesmente ignorar o campo. Não o inclua na sua análise.

Outra maneira de ignorar o problema é ignorar o registro. Simplesmente exclua o registro contendo os dados que faltam. Isso pode fazer sentido se houver apenas alguns registros desonesto. Mas, se houver vários campos de dados que contenham números significativos de valores ausentes, essa abordagem pode reduzir sua contagem de registros para um nível inaceitável.

Outra coisa a procurar antes de simplesmente excluir registros é qualquer sinal de um padrão. Por exemplo, suponha que você esteja analisando um conjunto de dados relacionado aos saldos de cartões de crédito em todo o país. Você pode encontrar um monte de registros com $ 0. 00 balanços (talvez cerca da metade dos registros). Esta não é, por si só, uma indicação de dados em falta. No entanto, se todos os registros de, digamos, Califórnia estão mostrando $ 0. 00 balanços, que indica um potencial problema de valores em falta. E não é um que seria útil resolvido eliminando todos os registros do maior estado do país. Neste caso, provavelmente é um problema de sistemas e indica que um novo arquivo deve ser criado.

Em geral, a exclusão de registros é uma solução fácil, mas não ideal, para problemas de valor faltante. Se o problema for relativamente pequeno e não há padrões discerníveis para as omissões, pode ser bom descartar os registros ofensivos e seguir em frente. Mas, com frequência, uma abordagem mais elevada é justificada.

Preenchendo os dados faltantes

Preencher os dados faltantes equivale a fazer um palpite educado sobre o que teria ocorrido nesse campo. Existem boas e más maneiras de fazer isso. Uma abordagem simples (mas ruim) é substituir os valores faltantes pela média dos não perdidos. Em campos não numéricos, você pode estar tentado a preencher os registros ausentes com o valor mais comum nos outros registros (o modo).

Essas abordagens são, infelizmente, muitas vezes usadas em algumas aplicações de negócios.Mas eles são amplamente considerados pelos estatísticos como idéias ruins. Por um lado, o objetivo de fazer análise estatística é encontrar dados que diferenciem um resultado de outro. Ao substituir todos os registros que faltam pelo mesmo valor, você não diferenciou nada.

A abordagem mais highbrow é tentar encontrar uma maneira de prever de forma significativa o valor que deve ser preenchido em cada registro que está faltando um valor. Isso envolve olhar para os registros completos e tentar encontrar pistas sobre o que o valor em falta pode ser.

Suponha que você esteja analisando um arquivo demográfico para prever compradores prováveis ​​de um de seus produtos. Nesse arquivo você tem, entre outros, informações sobre o estado civil, número de crianças e número de automóveis. Por algum motivo, o número de campo de autos está faltando em um terço dos registros.

Ao analisar os outros dois campos - estado civil e número de crianças - você pode descobrir alguns padrões. As pessoas solteiras tendem a ter um carro. Pessoas casadas sem filhos tendem a ter dois carros. Pessoas casadas com mais de uma criança podem ser mais propensas a ter três carros. Desta forma, você pode adivinhar os valores perdidos de uma forma que realmente diferencia os registros. Mais sobre esta abordagem para vir.

Existe um termo geral em estatísticas e processamento de dados que se refere a dados questionáveis. O termo noisy é usado para descrever dados que não são confiáveis, corrompidos ou, de outra forma, menos do que prístinos. A falta de dados é apenas um exemplo disso. Uma descrição detalhada das técnicas para limpar dados ruidosos em geral está além do escopo deste livro. Na verdade, esta é uma área ativa da pesquisa na teoria estatística. O fato de que todo o ruído não é tão fácil de detectar quanto os valores em falta faz com que seja problemático lidar.