Como marcar suas previsões analíticas de forma precisa - manequins

Ao analisar a qualidade de um modelo preditivo, você precisará medir sua precisão. Quanto mais precisa a previsão feita pelo modelo, mais útil é para o negócio, o que é uma indicação da sua qualidade. Isso é bom - exceto quando o evento previsto é raro. Nesse caso, a alta precisão do modelo preditivo pode não ter sentido.

Por exemplo, se a probabilidade de ocorrer um evento raro é de 5%, um modelo que simplesmente responde & ldquo; não & rdquo; O tempo todo quando perguntado se o evento raro ocorreu seria certo 95 por cento do tempo. Mas, como seria útil esse modelo?

Assim, se sua empresa deve lidar rotineiramente com eventos raros (se tal é possível), não confie apenas na precisão como medida da confiabilidade do seu modelo.

Nesse caso, você pode avaliar a eficácia e a qualidade de um modelo preditivo à luz do quão provável é o evento raro. Uma métrica útil a seguir é especificar quais tipos de erros você pode aceitar do modelo e que você não pode.

Aqui está uma lista rápida de outras maneiras de avaliar seu modelo:

• Verifique se a saída do modelo atende aos seus critérios de avaliação.

• Elaborar uma estratégia de teste para que você possa testar seu modelo de forma repetida e consistente.

• Meça o quão bem o modelo atende aos objetivos comerciais para os quais foi construído.

• Avalie os riscos de implantação do modelo ao vivo.

Ajude a eliminar a sobreposição. Ao construir um modelo preditivo, tenha em mente que seu conjunto de dados é apenas uma amostra de toda a população. Sempre haverá fatores desconhecidos que seus dados não podem ser considerados, não importa o que.

• Aborde a análise do seu modelo preditivo com cuidado, começando com esta lista de verificação rápida:

• Prepare seus dados com a máxima diligência antes de usá-lo para treinar seu modelo.

• Considere atentamente os valores aberrantes antes de incluí-los ou excluí-los.

• Mantenha-se vigilante em testes e avaliações repetidas.

• Confira os dados da amostra e teste os dados para evitar a sobreposição.

• Consulte seus especialistas em conhecimento de domínio com freqüência e adequadamente.