Intégrer des étiquettes Ground Truth et les fusionner avec des prédictions - Amazon SageMaker

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Intégrer des étiquettes Ground Truth et les fusionner avec des prédictions

La surveillance de la qualité du modèle compare les prédictions réalisées par votre modèle aux étiquettes Ground Truth afin de mesurer la qualité du modèle. Pour que cela fonctionne, vous étiquetez périodiquement les données capturées par votre point de terminaison ou votre tâche de transformation par lots et les téléchargez dans Amazon S3.

Pour que les étiquettes Ground Truth correspondent aux données de prédiction capturées, chaque enregistrement du jeu de données doit avoir un identifiant unique. La structure de chaque enregistrement pour les données Ground Truth est la suivante :

{ "groundTruthData": { "data": "1", "encoding": "CSV" # only CSV supported at launch, we assume "data" only consists of label }, "eventMetadata": { "eventId": "aaaa-bbbb-cccc" }, "eventVersion": "0" }

Selon la structure groundTruthData, eventId peut être l'un des éléments suivants :

  • eventId - Cet ID est automatiquement généré lorsqu'un utilisateur appelle le point de terminaison.

  • inferenceId - L'appelant fournit cet ID lorsqu'il appelle le point de terminaison.

Si l'ID inferenceId est présent dans les enregistrements de données capturées, Model Monitor l'utilise pour fusionner les données capturées avec les enregistrements Ground Truth. Vous devez vous assurer que l'ID inferenceId des enregistrements Ground Truth correspond à l'ID inferenceId des enregistrements capturés. Si l'ID inferenceId n'est pas présent dans les données capturées, Model Monitor utilise l'ID eventId des enregistrements de données capturés pour les faire correspondre à un enregistrement Ground Truth.

Vous devez télécharger les données Ground Truth dans un compartiment Amazon S3 ayant le même format de chemin d'accès que les données capturées, et sous la forme suivante :

s3://bucket/prefix/yyyy/mm/dd/hh

Dans ce chemin d'accès, la date est celle à laquelle l'étiquette Ground Truth est collectée. Elle ne doit pas correspondre nécessairement à la date de génération de l'inférence.

Une fois les étiquettes Ground Truth créées et téléchargées, incluez leur emplacement comme paramètre dans la tâche de surveillance que vous créez. Si vous utilisez AWS SDK for Python (Boto3), spécifiez l'emplacement des étiquettes Ground Truth en tant que champ S3Uri du paramètre GroundTruthS3Input dans un appel à la méthode create_model_quality_job_definition. Si vous utilisez le SDK SageMaker Python, spécifiez l'emplacement des labels Ground Truth comme ground_truth_input paramètre lors de l'appel à create_monitoring_schedule l'ModelQualityMonitorobjet.