Métricas de desempenho do modelo

Após a conclusão do treinamento do modelo, o Amazon Fraud Detector valida o desempenho do modelo usando 15% dos seus dados que não foram usados para treinar o modelo. Você pode esperar que seu modelo treinado do Amazon Fraud Detector tenha um desempenho real de detecção de fraudes semelhante às métricas de desempenho de validação.

Como empresa, você deve equilibrar entre detectar mais fraudes e adicionar mais atrito aos clientes legítimos. Para ajudar na escolha do equilíbrio certo, o Amazon Fraud Detector fornece as seguintes ferramentas para avaliar o desempenho do modelo:

• Gráfico de distribuição de pontuação — Um histograma das distribuições de pontuação do modelo pressupõe um exemplo de população de 100.000 eventos. O eixo Y esquerdo representa os eventos legítimos e o eixo Y direito representa os eventos de fraude. Você pode selecionar um limite de modelo específico clicando na área do gráfico. Isso atualizará as visualizações correspondentes na matriz de confusão e no gráfico ROC.

• Matriz de confusão — resume a precisão do modelo para um determinado limite de pontuação comparando as previsões do modelo com os resultados reais. O Amazon Fraud Detector pressupõe um exemplo de população de 100.000 eventos. A distribuição de fraudes e eventos legítimos simula a taxa de fraude em seus negócios.

  • Verdadeiros pontos positivos — O modelo prevê fraudes e o evento é, na verdade, uma fraude.

  • Falsos positivos — O modelo prevê fraudes, mas o evento é realmente legítimo.

  • Verdadeiros negativos — O modelo prevê que é legítimo e o evento é realmente legítimo.

  • Falsos negativos — O modelo prevê que seja legítimo, mas o evento é na verdade uma fraude.

  • Taxa positiva verdadeira (TPR) — Porcentagem do total de fraudes detectadas pelo modelo. Também conhecida como taxa de captura.

  • Taxa de falsos positivos (FPR) — Porcentagem do total de eventos legítimos previstos incorretamente como fraude.

• Curva do operador do receptor (ROC) — traça a taxa de verdadeiros positivos em função da taxa de falsos positivos em todos os limites possíveis de pontuação do modelo. Veja esse gráfico escolhendo Métricas avançadas.

• Área sob a curva (AUC) — Resume o TPR e o FPR em todos os limites possíveis de pontuação do modelo. Um modelo sem poder preditivo tem uma AUC de 0,5, enquanto um modelo perfeito tem uma pontuação de 1,0.

• Faixa de incerteza — Mostra a faixa de AUC esperada do modelo. Uma faixa maior (diferença no limite superior e inferior da AUC > 0,1) significa maior incerteza do modelo. Se a faixa de incerteza for grande (>0,1), considere fornecer mais eventos rotulados e retreinar o modelo.

Para usar as métricas de desempenho do modelo

1. Comece com o gráfico de distribuição de pontuação para analisar a distribuição das pontuações do modelo para suas fraudes e eventos legítimos. Idealmente, você terá uma separação clara entre a fraude e os eventos legítimos. Isso indica que o modelo pode identificar com precisão quais eventos são fraudulentos e quais são legítimos. Selecione um limite de modelo clicando na área do gráfico. Você pode ver como o ajuste do limite de pontuação do modelo afeta suas taxas de verdadeiros positivos e falsos positivos.

   nota

   O gráfico de distribuição de pontuação traça a fraude e os eventos legítimos em dois eixos Y diferentes. O eixo Y esquerdo representa os eventos legítimos e o eixo Y direito representa os eventos de fraude.

2. Revise a matriz de confusão. Dependendo do limite de pontuação do modelo selecionado, você pode ver o impacto simulado com base em uma amostra de 100.000 eventos. A distribuição de fraudes e eventos legítimos simula a taxa de fraude em seus negócios. Use essas informações para encontrar o equilíbrio certo entre a taxa de verdadeiros positivos e a taxa de falsos positivos.

3. Para obter detalhes adicionais, escolha Métricas avançadas. Use a carta ROC para entender a relação entre a taxa de verdadeiros positivos e a taxa de falsos positivos para qualquer limite de pontuação do modelo. A curva ROC pode ajudá-lo a ajustar a compensação entre a taxa de verdadeiros positivos e a taxa de falsos positivos.

   nota

   Você também pode revisar as métricas em forma de tabela escolhendo Tabela.

   A exibição da tabela também mostra a precisão métrica. Precisão é a porcentagem de eventos de fraude previstos corretamente como fraudulentos em comparação com todos os eventos previstos como fraudulentos.

4. Use as métricas de desempenho para determinar os limites ideais do modelo para seus negócios com base em suas metas e no caso de uso de detecção de fraudes. Por exemplo, se você planeja usar o modelo para classificar novos registros de contas como de alto, médio ou baixo risco, precisará identificar duas pontuações de limite para poder elaborar três condições de regra da seguinte forma:

   • Pontuações > X são de alto risco

   • Os escores < X but > Y são de risco médio

   • Pontuações < Y são de baixo risco