Como abordar problemas em Analytics Predictive - dummies

A modelagem preditiva está ganhando popularidade como uma ferramenta para gerenciar muitos aspectos do negócio. Assegurar que a análise de dados seja feita direito aumentará a confiança nos modelos empregados - o que, por sua vez, pode gerar o buy-in necessário para a análise preditiva para se tornar parte do conjunto de ferramentas padrão da sua organização.

Talvez essa popularidade aumentada venha das formas em que um projeto de análise preditiva possa suportar a tomada de decisões criando modelos que descrevem conjuntos de dados, descubra possíveis padrões e tendências possíveis (conforme indicado pelos dados) e preveja resultados com maior confiabilidade.

Para atingir esse objetivo, um projeto de análise preditiva deve fornecer um modelo que melhor se ajuste aos dados, selecionando as variáveis ​​de decisão de forma correta e eficiente. Algumas questões vitais devem ser respondidas no caminho para esse objetivo:

• Quais são as suposições mínimas e as variáveis ​​de decisão que permitem que o modelo se adapte melhor aos dados?

• Como o modelo em construção se compara a outros modelos aplicáveis?

• Que critérios são os melhores para avaliar e marcar este modelo?

Mais uma vez, você pode chamar a voz da experiência para o resgate: especialistas em conhecimento do domínio podem discutir essas questões, interpretar os resultados que mostram padrões ocultos nos dados e ajudar a verificar e validar a saída do modelo.

Como descrever as limitações do modelo de análise preditiva

Qualquer modelo analítico preditivo possui certas limitações com base nos algoritmos que emprega e no conjunto de dados em que ele é executado. Você deve estar ciente dessas limitações e fazê-las funcionar em sua vantagem; aqueles relacionados aos algoritmos incluem

• Se os dados têm padrões não-lineares (não forma uma linha)

• Quais as variáveis ​​altamente correlacionadas (relações estatísticas entre recursos)

• Se as variáveis ​​são independentes (sem relações entre recursos)

• Se o alcance dos dados de amostra torna o modelo propenso a superar

Para superar as limitações do seu modelo, use técnicas de cruzadas de validação cruzada de som para testar seus modelos. Comece por dividir seus dados em conjuntos de dados de treinamento e teste e execute o modelo em cada um desses conjuntos de dados separadamente para avaliar e marcar as previsões do modelo.

Como testar e avaliar o seu modelo de análise preditiva

Nenhum modelo pode produzir previsões precisas de 100 por cento; qualquer modelo tem potencial para produzir resultados imprecisos. Estar atento a qualquer variação significativa entre as previsões produzidas pelo seu modelo e os dados observados - especialmente se as saídas do modelo contradizem o senso comum.Se parece muito bom, ruim ou extremo ser verdade, então provavelmente não é verdade (até a realidade, de qualquer maneira).

No processo de avaliação, examine minuciosamente as saídas dos modelos que você está testando e compare-as às variáveis ​​de entrada. A capacidade de previsão do seu modelo deve responder a todos os objetivos comerciais estabelecidos que impulsionaram sua criação em primeiro lugar.

Se os erros ou os preconceitos surgirem na saída do seu modelo, tente rastreá-los de volta para

• A validade, a confiabilidade e a sazonalidade relativa dos dados

• Suposições usadas no modelo

• Variáveis ​​incluídas ou excluídas na análise

Trabalhe com usuários empresariais para avaliar cada etapa do processo do seu modelo; Certifique-se de que as saídas do modelo podem ser facilmente interpretadas e usadas em uma situação de negócios do mundo real. Balance a precisão e a confiabilidade do modelo com a facilidade com que as saídas do modelo podem ser interpretadas e colocadas em prática.

Como evitar modelos de análise preditiva não escaláveis ​​

Quando você está construindo um modelo, mantenha sempre a capacidade de escalabilidade em mente. Verifique sempre o desempenho, precisão e confiabilidade do modelo em várias escalas. Seu modelo deve ser capaz de alterar sua escala - e aumentar o tamanho, conforme necessário - sem desmoronar ou produzir previsões ruins.

A escalabilidade foi um grande desafio no passado. Os modelos preditivos levaram muito tempo para construir e correr. Os conjuntos de dados em que os modelos funcionavam eram pequenos, e os dados eram dispendiosos para coletar, armazenar e pesquisar. Mas isso foi tudo na era dos "dados pré-grandes".

Hoje, os grandes dados são baratos, abundantes e crescentes. Na verdade, outro problema potencial aparece: o volume de dados formidável atualmente disponível pode afetar negativamente o modelo e degradar seu desempenho, ultrapassando o modelo em um período de tempo relativamente curto. Implementado corretamente, a escalabilidade pode ajudar a "provar o futuro" seu modelo.

O futuro não é a única ameaça. Mesmo na atual era on-line, os dados transmitidos podem sobrecarregar um modelo - especialmente se os fluxos de dados aumentam para uma inundação.

O volume de dados sozinho pode fazer com que as variáveis ​​de decisão e os fatores de previsão cresçam para números gigantes que exigem atualização contínua para o modelo. Então sim, seu modelo melhorou ser escalável - rapidamente escalável.