Vérification de votre modèle à l'aide d'une tâche de détection d'essai

Si vous souhaitez vérifier ou améliorer la qualité de votre modèle, vous pouvez exécuter une tâche de détection d'essai. Une tâche de détection d'essai détecte les anomalies dans les nouvelles images que vous fournissez.

Vous pouvez vérifier les résultats de détection et ajouter les images vérifiées à votre jeu de données. Si vous disposez de jeux de données d'entraînement et de test distincts, les images vérifiées sont ajoutées au jeu de données d'entraînement.

Vous pouvez vérifier les images depuis votre ordinateur local ou les images situées dans un compartiment Amazon S3. Si vous souhaitez ajouter des images vérifiées au jeu de données, les images situées dans un compartiment S3 doivent se trouver dans le même compartiment S3 que les images de votre jeu de données.

Note

Pour exécuter une tâche de détection d'essai, assurez-vous que le contrôle de version est activé dans votre compartiment S3. Pour plus d'informations, consultez Utilisation du contrôle de version. Le compartiment de console est créé avec le contrôle de version activé.

Par défaut, vos images sont cryptées à l'aide d'une clé détenue et gérée par AWS. Vous pouvez également choisir d'utiliser votre propre clé AWS Key Management Service (KMS). Pour plus d'informations, consultez les concepts d'AWS Key Management Service.

Exécution d'une tâche de détection d'essai

Effectuez les étapes suivantes pour exécuter une tâche de détection d'essai.

Pour exécuter une version d'essai de détection (console)

1. Ouvrez la console Amazon Lookout for Vision à l'adresse https://console.aws.amazon.com/lookoutvision/.

2. Sélectionnez Get started (Démarrer).

3. Dans le panneau de navigation de gauche, choisissez Projects.

4. Dans la vue des projets, choisissez le projet qui contient la version du modèle à afficher.

5. Dans le panneau de navigation de gauche, sous le nom du projet, choisissez Détections d'essai.

6. Dans la vue des détections d'essai, choisissez Exécuter la détection d'essai.

7. Sur la page Exécuter la détection d'essai, entrez le nom de votre tâche de détection d'essai dans Nom de la tâche.

8. Dans Choisir un modèle, choisissez la version de ce modèle à utiliser.

9. Importez les images en fonction de la source des images comme suit :

   • Si vous importez vos images sources depuis un compartiment Amazon S3, entrez l'URI S3.

     Astuce

     Si vous utilisez les images d'exemple de Getting Started, utilisez le dossier extra_images. L'URI Amazon S3 ests3://your bucket/circuitboard/extra_images.

   • Si vous chargez des images depuis votre ordinateur, ajoutez-les après avoir sélectionné Détecter les anomalies.

10. (Facultatif) Si vous souhaitez utiliser votre propre clé de chiffrement AWS KMS, procédez comme suit :

    1. Pour Chiffrer les données d'image, choisissez Personnaliser les paramètres de chiffrement (avancés).

    2. Dans encryption.aws_kms_key, entrez le nom de ressource Amazon (ARN) de votre clé ou choisissez une clé AWS KMS existante. Pour créer une nouvelle clé, choisissez Créer une clé AWS IMS.

11. Choisissez Détecter les anomalies, puis choisissez Exécuter une détection d'essai pour démarrer la tâche de détection d'essai.

12. Vérifiez l'état actuel dans la vue des détections d'essai. La détection de l'essai peut prendre un certain temps.

Vérification des résultats de détection des essais

La vérification des résultats d'un essai de détection peut vous aider à améliorer votre modèle.

Si les indicateurs de performance sont faibles, améliorez votre modèle en effectuant une détection d'essai, puis ajoutez des images vérifiées au jeu de données (jeu de données d'entraînement, si vous disposez d'un ensemble de données distinct).

Si les indicateurs de performance du modèle sont bons, mais que les résultats de la détection d'un essai sont médiocres, vous pouvez améliorer votre modèle en ajoutant des images vérifiées à l'ensemble de données (jeu de données d'entraînement). Si vous disposez d'un ensemble de données de test distinct, pensez à ajouter d'autres images à l'ensemble de données de test.

Après avoir ajouté des images vérifiées à votre jeu de données, réentraînez et réévaluez votre modèle. Pour plus d'informations, veuillez consulter Entraînement de votre modèle.

Pour vérifier les résultats d'un essai de détection

1. Ouvrez la console Amazon Lookout for Vision à l'adresse https://console.aws.amazon.com/lookoutvision/.

2. Dans le panneau de navigation de gauche, choisissez Projects.

3. Dans la page Projets, choisissez le projet que vous souhaitez utiliser. Le tableau de bord de votre projet s'affiche.

4. Dans le panneau de navigation de gauche, choisissez Détections d'essai.

5. Choisissez la détection d'essai que vous souhaitez vérifier.

6. Sur la page de détection de la version d'essai, choisissez Vérifier les prévisions de la machine.

7. Choisissez Sélectionner toutes les images de cette page.

8. Si les prévisions sont correctes, choisissez Vérifier comme étant correctes. Sinon, choisissez Vérifier comme incorrect. La prédiction et le score de confiance des prévisions sont affichés sous chaque image.

9. Si vous devez modifier l'étiquette d'une image, procédez comme suit :

   1. Choisissez Correct ou Incorrect sous l'image.

   2. Si vous ne parvenez pas à déterminer l'étiquette correcte pour une image, agrandissez-la en choisissant l'image dans la galerie.

   Note

   Vous pouvez filtrer les étiquettes des images en choisissant l'étiquette ou l'état d'étiquette souhaité dans la section Filtres. Vous pouvez trier par score de confiance dans la section Options de tri.

10. Si votre modèle est un modèle de segmentation et que le masque ou l'étiquette d'anomalie d'une image est incorrect, choisissez Zone anormale sous l'image et ouvrez l'outil d'annotation. Mettez à jour les informations de segmentation en effectuantCorriger les étiquettes de segmentation à l'aide de l'outil d'annotation.

11. Répétez les étapes 7 à 10 sur chaque page si nécessaire jusqu'à ce que toutes les images aient été vérifiées.

12. Choisissez Ajouter des images vérifiées au jeu de données. Si vous disposez de jeux de données distincts, les images sont ajoutées au jeu de données d'apprentissage.

13. Réentraînez votre modèle. Pour plus d'informations, veuillez consulter Entraînement de votre modèle.

Corriger les étiquettes de segmentation à l'aide de l'outil d'annotation

L'outil d'annotation vous permet de segmenter une image en marquant les zones anormales à l'aide d'un masque.

Pour corriger les étiquettes de segmentation d'une image à l'aide de l'outil d'annotation

1. Ouvrez l'outil d'annotation en sélectionnant une zone anormale sous une image dans la galerie de jeux de données.

2. Si l'étiquette d'anomalie d'un masque n'est pas correcte, choisissez le masque, puis choisissez l'étiquette d'anomalie correcte sous Étiquettes d'anomalies. Si nécessaire, choisissez Ajouter une étiquette d'anomalie pour ajouter une nouvelle étiquette d'anomalie.

3. Si le masque n'est pas correct, choisissez un outil de dessin en bas de la page et dessinez des masques qui recouvrent étroitement les zones anormales pour l'étiquette d'anomalie. L'image suivante est un exemple de masque qui couvre étroitement une anomalie.

   

   Voici un exemple de masque de mauvaise qualité qui ne couvre pas bien une anomalie.

   

4. Si vous avez d'autres images à corriger, choisissez Suivant et répétez les étapes 2 et 3.

5. Choisissez Soumettre et fermer pour terminer la mise à jour des images.