Formats de fichiers manifestes

Les sections suivantes présentent des exemples de formats de fichier manifeste pour les fichiers d’entrée, de sortie et d’évaluation.

Manifeste d’entrée

Un fichier manifeste est un fichier délimité par json-line, chaque ligne contenant un fichier JSON contenant des informations sur une seule image.

Chaque entrée du manifeste d’entrée doit contenir le champ source-ref indiquant le chemin d’accès à l’image dans le compartiment Amazon S3 et, pour une modération personnalisée, le champ content-moderation-groundtruth contenant des annotations de base. Toutes les images d’un jeu de données doivent se trouver dans le même compartiment. La structure est commune aux fichiers manifestes de formation et de test.

L’opération de modération personnalisée CreateProjectVersion utilise les informations fournies dans le manifeste d’entrée pour entraîner un adaptateur.

L’exemple suivant est une ligne d’un fichier manifeste pour une seule image contenant une seule classe dangereuse :

{
   "source-ref": "s3://foo/bar/1.jpg",
   "content-moderation-groundtruth": {
        "ModerationLabels": [
            { 
                "Name": "Rude Gesture"
            }
        ]
   }
}
                

L’exemple suivant est une ligne d’un fichier manifeste pour une seule image dangereuse contenant plusieurs classes dangereuses, en particulier Nudité et Gestes grossiers.

{
   "source-ref": "s3://foo/bar/1.jpg",
   "content-moderation-groundtruth": {
        "ModerationLabels": [
            { 
                "Name": "Rude Gesture"
            },
            {
                "Name": "Nudity"
            }
        ]
   }
}
                

L’exemple suivant est une ligne d’un fichier manifeste pour une seule image ne contenant aucune classe dangereuses :

{
   "source-ref": "s3://foo/bar/1.jpg",
   "content-moderation-groundtruth": {
        "ModerationLabels": []
   }
}

Pour obtenir la liste complète des étiquettes prises en charge, reportez-vous à la section Modération du contenu.

Manifeste de sortie

À la fin d’une tâche de formation, un fichier manifeste de sortie est renvoyé. Le fichier manifeste de sortie est un fichier délimité par JSON-line, chaque ligne contenant un JSON avec des informations sur une seule image. Le chemin d'accès à Amazon S3 OutputManifest peut être obtenu à partir de DescribeProjectVersion la réponse :

• TrainingDataResult.Output.Assets[0].GroundTruthManifest.S3Object pour jeux de données d’entraînement

• TestingDataResult.Output.Assets[0].GroundTruthManifest.S3Object pour jeux de données de test

Les informations suivantes sont renvoyées pour chaque entrée du manifeste de sortie :

Nom de clé	Description
source-ref	Référence à une image dans s3 qui a été fournie dans le manifeste d'entrée
content-moderation-groundtruth	Annotations fondées sur la vérité fournies dans le manifeste d'entrée
detect-moderation-labels	Prédictions de l'adaptateur, uniquement incluses dans l'ensemble de données de test
detect-moderation-labels-base-model	Prédictions du modèle de base, faisant partie de l'ensemble de données de test uniquement

Les prédictions de l'adaptateur et du modèle de base sont renvoyées à la ConfidenceTrehsold version 5.0 dans un format similaire à celui de la réponse DetectModerationLabels.

L’exemple suivant montre la structure des prédictions de l’adaptateur et du modèle de base :

{
   "ModerationLabels": [ 
      { 
         "Confidence": number,
         "Name": "string",
         "ParentName": "string"
      }
   ],
   "ModerationModelVersion": "string",
   "ProjectVersion": "string"
}

Pour obtenir la liste complète des étiquettes renvoyées, reportez-vous à la section Modération du contenu.

Manifeste des résultats d’évaluation

À la fin d’une tâche de formation, un fichier manifeste des résultats d’évaluation est renvoyé. Le manifeste des résultats de l’évaluation est un fichier de sortie JSON généré par la tâche de formation. Il contient des informations concernant les performances de l’adaptateur sur les données de test.

Amazon S3 Le chemin d'accès au manifeste des résultats de l'évaluation peut être obtenu à partir du EvaluationResult.Summary.S3Object champ de la DescribeProejctVersion réponse.

La structure du manifeste des résultats d’évaluation est présentée dans l’exemple suivant :

{
    "AggregatedEvaluationResults": {
       "F1Score": number
    },

    "EvaluationDetails": {
        "EvaluationEndTimestamp": "datetime",
        "Labels": [
            "string"
        ],
        "NumberOfTestingImages": number,
        "NumberOfTrainingImages": number,
        "ProjectVersionArn": "string"
    },

    "ContentModeration": {
        "InputConfidenceThresholdEvalResults": {
            "ConfidenceThreshold": float,
            "AggregatedEvaluationResults": {
                "BaseModel": {
                    "TruePositive": int,
                    "TrueNegative": int,
                    "FalsePositive": int,
                    "FalseNegative": int
                },
                "Adapter": {
                    "TruePositive": int,
                    "TrueNegative": int,
                    "FalsePositive": int,
                    "FalseNegative": int
                }
            },
            "LabelEvaluationResults": [
                {
                    "Label": "string",
                    "BaseModel": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    },
                    "Adapter": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    }
                }
            ]
        }
        "AllConfidenceThresholdsEvalResults": [
            {
                "ConfidenceThreshold": float,
                "AggregatedEvaluationResults": {
                    "BaseModel": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    },
                    "Adapter": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    }
                },
                "LabelEvaluationResults": [
                    {
                       "Label": "string",
                        "BaseModel": {
                            "TruePositive": int,
                            "TrueNegative": int,
                            "FalsePositive": int,
                            "FalseNegative": int
                        },
                        "Adapter": {
                            "TruePositive": int,
                            "TrueNegative": int,
                            "FalsePositive": int,
                            "FalseNegative": int
                        }
                    }
                ]
            }
        ]
    }
}

                

Le fichier manifeste d’évaluation contient :

• Résultats agrégés tels que définis par F1Score

• Détails du travail d'évaluation ProjectVersionArn, notamment le nombre d'images d'entraînement, le nombre d'images de test et les étiquettes sur lesquelles l'adaptateur a été formé.

• Agrégé TruePositive TrueNegative, FalsePositive, et FalseNegative résultats pour les performances du modèle de base et de l'adaptateur.

• Par étiquette TruePositive, TrueNegative FalsePositive, et FalseNegative résultats pour les performances du modèle de base et de l'adaptateur, calculés au seuil de confiance en entrée.

• Agrégés et par étiquette TruePositive, TrueNegative FalsePositive, et FalseNegative résultats pour les performances du modèle de base et de l'adaptateur à différents seuils de confiance. Le seuil de confiance varie de 5 à 100 par paliers de 5.