Como lidar com outliers causados ​​por erros no sistema - manequins

Quando confia na tecnologia ou na instrumentação para realizar uma tarefa de análise preditiva, uma falha aqui ou aí pode fazer com que esses instrumentos registrem valores extremos ou incomuns. Se os sensores registrarem valores observacionais que não atendem aos padrões básicos de controle de qualidade, eles podem produzir interrupções reais que são refletidas nos dados.

Alguém que executa a entrada de dados, por exemplo, pode adicionar facilmente um valor extra de 0 ao final de um valor por engano, tirando a entrada do alcance e produzindo um outlier.

Se você estiver olhando para dados observacionais coletados por um sensor de água instalado no porto de Baltimore - e informa uma profundidade de água de 20 pés acima do nível médio do mar - você obteve um outlier. O sensor é obviamente errado, a menos que Baltimore esteja completamente coberto por água.

Os dados podem acabar tendo outliers devido a eventos externos ou a um erro de uma pessoa ou de um instrumento.

Se um evento real, como uma queda instantânea, é atribuído a um erro no sistema, suas conseqüências ainda são reais - mas se você souber a origem do problema, você pode concluir que uma falha nos dados e não o seu modelo, foi culpado se seu modelo não preveisse o evento.

Conhecer a fonte do outlier orientará sua decisão sobre como lidar com isso. Os outliers que foram o resultado de erros de entrada de dados podem ser facilmente corrigidos depois de consultar a fonte de dados. Outliers que refletem uma mudança de realidade podem solicitar que você altere seu modelo.

Não há uma resposta de tamanho único quando você está decidindo se deve incluir ou ignorar dados extremos que não são um erro ou falha. Sua resposta depende da natureza da análise que você está fazendo - e do tipo de modelo que você está construindo. Em alguns casos, a maneira de lidar com esses valores atípicos é direta:

• Se você rastrear seu outlier para um erro de entrada de dados quando você consulta a fonte de dados, você pode corrigir facilmente os dados e (provavelmente) manter o modelo intacto.

• Se esse sensor de água no porto de Baltimore relatar água a uma profundidade de 20 pés acima do nível do mar médio, e você está em Baltimore, olhe pela sua janela:

  • Se Baltimore não estiver completamente coberto pela água, o sensor é obviamente errado.

  • Se você vê um peixe olhando para você, a realidade mudou; talvez você precise revisar seu modelo.

• O flash crash pode ter sido um evento único (a curto prazo, de qualquer maneira), mas seus efeitos foram reais - e se você estudou o mercado no longo prazo, você sabe que algo semelhante pode acontecer novamente.Se o seu negócio estiver em finanças e você lida com o mercado de ações o tempo todo, você quer que seu modelo explique tais aberrações.

Em geral, se o resultado de um evento normalmente considerado um outlier pode ter um impacto significativo em sua empresa, considere como lidar com esses eventos em sua análise. Mantenha esses pontos gerais em mente sobre outliers:

• O conjunto de dados menor é, quanto mais significativo o impacto outliers pode ter na análise.

• À medida que você desenvolve seu modelo, certifique-se de desenvolver técnicas para encontrar outliers e entender sistematicamente seu impacto em sua empresa.

• Detectar outliers pode ser um processo complexo; não existe uma maneira simples de identificá-los.

• A especialista em domínio (alguém que conhece o campo que você está modelando) é o seu melhor amigo para verificar se um ponto de dados é válido, um valor de intervalo que você pode desconsiderar, ou um valor que você tem para ter em conta. O especialista em domínio do domínio deve ser capaz de explicar quais fatores criaram o outlier, qual é a sua variabilidade e seu impacto no negócio.

• As ferramentas de visualização podem ajudá-lo a detectar valores abertos nos dados. Além disso, se você conhece o intervalo esperado de valores, você pode consultar facilmente os dados que ficam fora desse intervalo.