Manifest-Dateiformate

Die folgenden Abschnitte enthalten Beispiele für die Manifestdateiformate für Eingabe-, Ausgabe- und Evaluierungsdateien.

Eingabemanifest

Eine Manifestdatei ist eine durch Json-Zeilen begrenzte Datei, wobei jede Zeile ein JSON enthält, das Informationen über ein einzelnes Bild enthält.

Jeder Eintrag im Eingabemanifest muss das source-ref-Feld mit einem Pfad zum Bild im Amazon-S3-Bucket und für benutzerdefinierte Moderation das content-moderation-groundtruth-Feld mit Grundanmerkungen enthalten. Es wird erwartet, dass sich alle Bilder aus einem Datensatz in demselben Bucket befinden. Die Struktur ist sowohl für Trainings- als auch für Testmanifestdateien gleich.

Die CreateProjectVersion-Operation für die benutzerdefinierte Moderation verwendet die im Eingabemanifest bereitgestellten Informationen, um einen Adapter zu trainieren.

Das folgende Beispiel zeigt eine Zeile einer Manifestdatei für ein einzelnes Bild, das eine einzelne unsichere Klasse enthält:

{
   "source-ref": "s3://foo/bar/1.jpg",
   "content-moderation-groundtruth": {
        "ModerationLabels": [
            { 
                "Name": "Rude Gesture"
            }
        ]
   }
}
                

Das folgende Beispiel ist eine Zeile einer Manifestdatei für ein einzelnes, unsicheres Bild, das mehrere unsichere Klassen enthält, insbesondere Nacktheit und unhöfliche Geste.

{
   "source-ref": "s3://foo/bar/1.jpg",
   "content-moderation-groundtruth": {
        "ModerationLabels": [
            { 
                "Name": "Rude Gesture"
            },
            {
                "Name": "Nudity"
            }
        ]
   }
}
                

Das folgende Beispiel ist eine Zeile einer Manifestdatei für ein einzelnes Bild, das keine unsicheren Klassen enthält:

{
   "source-ref": "s3://foo/bar/1.jpg",
   "content-moderation-groundtruth": {
        "ModerationLabels": []
   }
}

Die vollständige Liste der unterstützten Labels finden Sie unter Inhalte moderieren.

Ausgabemanifest

Nach Abschluss eines Trainingsjobs wird eine Ausgabemanifestdatei zurückgegeben. Die Ausgabe-Manifestdatei ist eine durch Zeilen getrennte JSON-Datei, wobei jede Zeile eine JSON-Datei enthält, die Informationen für ein einzelnes Bild enthält. Amazon S3 Path to the OutputManifest kann über die folgende DescribeProjectVersion Antwort abgerufen werden:

• TrainingDataResult.Output.Assets[0].GroundTruthManifest.S3Object für Trainingsdatensatz

• TestingDataResult.Output.Assets[0].GroundTruthManifest.S3Object für Testdatensatz

Die folgenden Informationen werden für jeden Eintrag im Ausgabemanifest zurückgegeben:

Schlüsselname	Beschreibung
source-ref	Verweis auf ein Bild in S3, das im Eingabemanifest bereitgestellt wurde
content-moderation-groundtruth	Ground-Truth-Anmerkungen, die im Eingabemanifest bereitgestellt wurden
detect-moderation-labels	Adaptervorhersagen, nur Teil des Testdatensatzes
detect-moderation-labels-base-model	Vorhersagen des Basismodells, nur Teil des Testdatensatzes

Adapter- und Basismodellvorhersagen werden mit ConfidenceTrehsold 5,0 in dem Format zurückgegeben, das der DetectModerationLabels-Antwort ähnelt.

Das folgende Beispiel zeigt die Struktur der Adapter- und Basismodellvorhersagen:

{
   "ModerationLabels": [ 
      { 
         "Confidence": number,
         "Name": "string",
         "ParentName": "string"
      }
   ],
   "ModerationModelVersion": "string",
   "ProjectVersion": "string"
}

Die vollständige Liste der zurückgegebenen Label finden Sie unter Inhalte moderieren.

Manifest für Evaluierungsergebnisse

Nach Abschluss einer Trainingsaufgabe wird eine Manifestdatei mit den Evaluierungsergebnissen zurückgegeben. Das Manifest der Evaluierungsergebnisse ist eine JSON-Datei, die vom Trainingsauftrag ausgegeben wird und Informationen darüber enthält, wie gut der Adapter bei den Testdaten abgeschnitten hat.

Der Amazon S3 S3-Pfad zum Manifest der Evaluierungsergebnisse kann dem EvaluationResult.Summary.S3Object Feld in der DescribeProejctVersion Antwort entnommen werden.

Das folgende Beispiel zeigt die Struktur des Manifests für Evaluierungsergebnisse:

{
    "AggregatedEvaluationResults": {
       "F1Score": number
    },

    "EvaluationDetails": {
        "EvaluationEndTimestamp": "datetime",
        "Labels": [
            "string"
        ],
        "NumberOfTestingImages": number,
        "NumberOfTrainingImages": number,
        "ProjectVersionArn": "string"
    },

    "ContentModeration": {
        "InputConfidenceThresholdEvalResults": {
            "ConfidenceThreshold": float,
            "AggregatedEvaluationResults": {
                "BaseModel": {
                    "TruePositive": int,
                    "TrueNegative": int,
                    "FalsePositive": int,
                    "FalseNegative": int
                },
                "Adapter": {
                    "TruePositive": int,
                    "TrueNegative": int,
                    "FalsePositive": int,
                    "FalseNegative": int
                }
            },
            "LabelEvaluationResults": [
                {
                    "Label": "string",
                    "BaseModel": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    },
                    "Adapter": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    }
                }
            ]
        }
        "AllConfidenceThresholdsEvalResults": [
            {
                "ConfidenceThreshold": float,
                "AggregatedEvaluationResults": {
                    "BaseModel": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    },
                    "Adapter": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    }
                },
                "LabelEvaluationResults": [
                    {
                       "Label": "string",
                        "BaseModel": {
                            "TruePositive": int,
                            "TrueNegative": int,
                            "FalsePositive": int,
                            "FalseNegative": int
                        },
                        "Adapter": {
                            "TruePositive": int,
                            "TrueNegative": int,
                            "FalsePositive": int,
                            "FalseNegative": int
                        }
                    }
                ]
            }
        ]
    }
}

                

Die Evaluierungsmanifestdatei enthält:

• Aggregierte Ergebnisse, wie definiert durch F1Score

• Einzelheiten zum Evaluierungsjob ProjectVersionArn, einschließlich der Anzahl der Trainings-Images, der Anzahl der Test-Images und der Labels, auf denen der Adapter trainiert wurde.

• Aggregierte TruePositive, TrueNegative FalsePositive, und FalseNegative Ergebnisse sowohl für das Basismodell als auch für die Adapterleistung.

• Pro Etikett TruePositive, TrueNegative FalsePositive, und FalseNegative Ergebnisse sowohl für das Basismodell als auch für die Adapterleistung, berechnet am Schwellenwert für die Eingabesicherheit.

• Aggregiert und pro Etikett TruePositive, TrueNegative FalsePositive, und FalseNegative Ergebnisse sowohl für das Basismodell als auch für die Adapterleistung bei unterschiedlichen Konfidenzschwellen. Der Zuverlässigkeitsschwellenwert reicht von 5 bis 100 in Schritten von 5 bis 100.