Indicateurs de performance du modèle

Une fois la formation du modèle terminée, Amazon Fraud Detector valide les performances du modèle en utilisant 15 % de vos données qui n'ont pas été utilisées pour entraîner le modèle. Vous pouvez vous attendre à ce que votre modèle Amazon Fraud Detector entraîné présente des performances de détection des fraudes réelles similaires aux indicateurs de performance de validation.

En tant qu'entreprise, vous devez trouver un équilibre entre la détection d'un plus grand nombre de fraudes et l'augmentation des tensions pour les clients légitimes. Pour vous aider à trouver le bon équilibre, Amazon Fraud Detector fournit les outils suivants pour évaluer les performances du modèle :

• Tableau de distribution des scores : un histogramme des distributions de scores du modèle suppose un exemple de population de 100 000 événements. L'axe Y de gauche représente les événements légitimes et l'axe Y de droite représente les événements de fraude. Vous pouvez sélectionner un seuil de modèle spécifique en cliquant sur la zone du graphique. Cela mettra à jour les vues correspondantes dans la matrice de confusion et le graphique ROC.

• Matrice de confusion — Résume la précision du modèle pour un seuil de score donné en comparant les prévisions du modèle aux résultats réels. Amazon Fraud Detector part d'une population d'exemple de 100 000 événements. La diffusion de fraudes et d'événements légitimes simule le taux de fraude dans vos entreprises.

  • Les vrais points positifs — Le modèle prédit la fraude et l'événement est en fait une fraude.

  • Faux positifs : le modèle prédit la fraude, mais l'événement est en fait légitime.

  • Les vrais points négatifs — Le modèle prédit la légitimité de l'événement, alors qu'il est en fait légitime.

  • Faux points négatifs — Le modèle prédit des événements légitimes, mais il s'agit en fait d'une fraude.

  • Taux positif réel (TPR) : pourcentage du total des fraudes détectées par le modèle. Également connu sous le nom de taux de capture.

  • Taux de faux positifs (FPR) : pourcentage du total des événements légitimes qui sont faussement considérés comme des fraudes.

• Courbe du récepteur et de l'opérateur (ROC) : trace le taux de vrais positifs en fonction du taux de faux positifs sur tous les seuils de score possibles du modèle. Consultez ce graphique en choisissant Advanced Metrics.

• Zone sous la courbe (AUC) — Résume le TPR et le FPR sur tous les seuils de score possibles du modèle. Un modèle sans pouvoir prédictif a une AUC de 0,5, alors qu'un modèle parfait a un score de 1,0.

• Plage d'incertitude — Elle indique la plage d'AUC attendue du modèle. Une plage plus grande (différence entre les bornes supérieure et inférieure de l'AUC > 0,1) signifie une plus grande incertitude du modèle. Si la plage d'incertitude est large (>0,1), envisagez de fournir davantage d'événements étiquetés et réentraînez le modèle.

Pour utiliser les indicateurs de performance du modèle

1. Commencez par le tableau de distribution des scores pour examiner la distribution des scores des modèles pour vos fraudes et vos événements légitimes. Idéalement, vous aurez une distinction claire entre la fraude et les événements légitimes. Cela indique que le modèle peut identifier avec précision les événements frauduleux et ceux qui sont légitimes. Sélectionnez un seuil de modèle en cliquant sur la zone du graphique. Vous pouvez voir l'impact de l'ajustement du seuil de score du modèle sur vos taux de vrais positifs et de faux positifs.

   Note

   Le tableau de distribution des scores trace les fraudes et les événements légitimes sur deux axes Y différents. L'axe Y de gauche représente les événements légitimes et l'axe Y de droite représente les événements de fraude.

2. Consultez la matrice de confusion. En fonction du seuil de score du modèle que vous avez sélectionné, vous pouvez voir l'impact simulé sur la base d'un échantillon de 100 000 événements. La diffusion de fraudes et d'événements légitimes simule le taux de fraude dans vos entreprises. Utilisez ces informations pour trouver le juste équilibre entre le taux de vrais positifs et le taux de faux positifs.

3. Pour plus de détails, choisissez Advanced Metrics. Utilisez le graphique ROC pour comprendre la relation entre le taux de vrais positifs et le taux de faux positifs pour n'importe quel seuil de score du modèle. La courbe ROC peut vous aider à affiner le compromis entre un taux de vrais positifs et un taux de faux positifs.

   Note

   Vous pouvez également consulter les métriques sous forme de tableau en choisissant Tableau.

   La vue du tableau montre également la métrique Precision. La précision est le pourcentage d'événements de fraude correctement prédits comme frauduleux par rapport à tous les événements prédits comme frauduleux.

4. Utilisez les indicateurs de performance pour déterminer les seuils de modèle optimaux pour vos entreprises en fonction de vos objectifs et de votre cas d'utilisation en matière de détection des fraudes. Par exemple, si vous envisagez d'utiliser le modèle pour classer les nouveaux enregistrements de comptes comme présentant un risque élevé, moyen ou faible, vous devez identifier deux seuils afin de pouvoir rédiger les trois conditions de règle suivantes :

   • Les scores > X indiquent un risque élevé

   • Les scores < X but > Y correspondent à un risque moyen

   • Les scores < Y indiquent un faible risque