Como limpar dados para análise preditiva - manequins

Antes de executar uma análise preditiva, você precisará se certificar de que os dados estão limpos de material estranho antes de poder usá-lo no seu modelo. Isso inclui encontrar e corrigir todos os registros que contenham valores errôneos e tentar preencher os valores que faltam. Você também precisará decidir se deve incluir registros duplicados (duas contas de clientes, por exemplo).

O objetivo geral é garantir a integridade das informações que você está usando para criar seu modelo preditivo. Preste especial atenção à completude, exatidão e pontualidade dos dados.

É útil criar estatísticas descritivas (características quantitativas) para vários campos, como calcular min e max, verificar distribuição de frequência (com que frequência ocorre algo) e verificando os intervalos esperados. Executar um cheque regular pode ajudá-lo a sinalizar quaisquer dados que estejam fora do alcance esperado para uma investigação mais aprofundada. Qualquer registro que mostre aposentados com datas de nascimento na década de 1990 pode ser marcado por este método.

Além disso, a verificação cruzada das informações é importante para garantir que os dados sejam precisos. Para uma análise mais profunda das características dos dados e a identificação da relação entre os registros de dados, você pode usar perfil de dados (analisando a disponibilidade de dados e coletando estatísticas sobre a qualidade dos dados) e ferramentas de visualização.

Os dados em falta podem ser devidos ao fato de que informações específicas não foram registradas. Nesse caso, você pode tentar preencher o máximo possível; Padrões adequados podem ser facilmente adicionados para preencher os espaços em branco de certos campos.

Por exemplo, para pacientes em uma enfermaria hospitalar em que o campo de gênero está faltando um valor, o aplicativo pode simplesmente preenchê-lo como feminino. Para esse assunto, para qualquer homem que foi internado em um hospital com um registro faltando para o estado da gravidez, esse registro também pode ser preenchido como não aplicável.

Um código postal faltando para um endereço pode ser deduzido do nome da rua e da cidade fornecida nesse endereço.

Nos casos em que a informação é desconhecida ou não pode ser inferida, você precisará usar valores outros do que um espaço em branco para indicar que os dados estão faltando sem afetar a correção da análise. Um espaço em branco nos dados pode significar coisas múltiplas, a maioria não é boa ou útil. Sempre que você pode, você deve especificar a natureza desse espaço por preenchimento de lugar significativo.

Assim como é possível definir uma rosa em um campo de milho como uma erva daninha, outliers pode significar coisas diferentes para diferentes análises.É comum que alguns modelos sejam construídos exclusivamente para rastrear esses valores anuais e sinalizá-los.

Os modelos de detecção de fraude e monitoramento de atividades criminosas estão interessados ​​nesses outliers, que em tais casos indicam algo indesejável ocorrendo. Portanto, manter os valores atípicos no conjunto de dados em casos como esses é recomendado. No entanto, quando os outliers são considerados anomalias dentro dos dados - e apenas prejudicam as análises e levam a resultados errados - remova-os dos seus dados.

A duplicação nos dados também pode ser útil ou um incômodo; alguns podem ser necessários, podem indicar valor e podem refletir um estado exato dos dados. Por exemplo, um registro de um cliente com várias contas pode ser representado com várias entradas que são (tecnicamente, de qualquer maneira) duplicadas e repetitivas dos mesmos registros.

Pelo mesmo símbolo, quando os registros duplicados não contribuem com valor para a análise e não são necessários, os remover podem ser de tremendo valor. Isto é especialmente verdadeiro para grandes conjuntos de dados onde a remoção de registros duplicados pode simplificar a complexidade dos dados e reduzir o tempo necessário para a análise.

Você pode impedir de forma preventiva que dados incorretos entrem em seus sistemas, adotando alguns procedimentos específicos:

• Verificações de qualidade do instituto e validação de dados para todos os dados que estão sendo coletados.

• Permita que seus clientes validem e corrigam automaticamente seus dados pessoais.

• Forneça aos seus clientes valores possíveis e esperados para escolher.

• Execute rotineiramente verificações sobre a integridade, consistência e precisão dos dados.