Ingérez les labels Ground Truth et fusionnez-les avec des prédictions

La surveillance de la qualité du modèle compare les prédictions réalisées par votre modèle aux étiquettes Ground Truth afin de mesurer la qualité du modèle. Pour que cela fonctionne, vous étiquetez périodiquement les données capturées par votre point de terminaison ou votre tâche de transformation par lots et les téléchargez dans Amazon S3.

Pour que les étiquettes Ground Truth correspondent aux données de prédiction capturées, chaque enregistrement du jeu de données doit avoir un identifiant unique. La structure de chaque enregistrement pour les données Ground Truth est la suivante :

{
  "groundTruthData": {
    "data": "1",
    "encoding": "CSV" # only CSV supported at launch, we assume "data" only consists of label
  },
  "eventMetadata": {
    "eventId": "aaaa-bbbb-cccc"
  },
  "eventVersion": "0"
}

Selon la structure groundTruthData, eventId peut être l'un des éléments suivants :

• eventId - Cet ID est automatiquement généré lorsqu'un utilisateur appelle le point de terminaison.

• inferenceId - L'appelant fournit cet ID lorsqu'il appelle le point de terminaison.

Si l'ID inferenceId est présent dans les enregistrements de données capturées, Model Monitor l'utilise pour fusionner les données capturées avec les enregistrements Ground Truth. Vous devez vous assurer que l'ID inferenceId des enregistrements Ground Truth correspond à l'ID inferenceId des enregistrements capturés. Si l'ID inferenceId n'est pas présent dans les données capturées, Model Monitor utilise l'ID eventId des enregistrements de données capturés pour les faire correspondre à un enregistrement Ground Truth.

Vous devez télécharger les données Ground Truth dans un compartiment Amazon S3 ayant le même format de chemin d'accès que les données capturées, et sous la forme suivante :

s3://bucket/prefix/yyyy/mm/dd/hh

Dans ce chemin d'accès, la date est celle à laquelle l'étiquette Ground Truth est collectée. Elle ne doit pas correspondre nécessairement à la date de génération de l'inférence.

Une fois les étiquettes Ground Truth créées et téléchargées, incluez leur emplacement comme paramètre dans la tâche de surveillance que vous créez. Si vous en utilisez AWS SDK for Python (Boto3), faites-le en spécifiant l'emplacement des labels Ground Truth comme S3Uri champ du GroundTruthS3Input paramètre lors d'un appel à la create_model_quality_job_definition méthode. Si vous utilisez le SageMaker PythonSDK, spécifiez l'emplacement des labels Ground Truth comme ground_truth_input paramètre lors create_monitoring_schedule de l'appel à l'ModelQualityMonitorobjet.