Formati di file manifest

Le seguenti sezioni mostrano esempi dei formati di file manifest per i file di input, output e valutazione.

Manifest di input

Un file manifest è un file delimitato da righe json, in cui ogni riga contiene un file che contiene informazioni su una singola immagine. JSON

Ogni voce del manifest di input deve contenere il campo source-ref con il percorso dell'immagine nel bucket Amazon S3 e, per la moderazione personalizzata, il campo content-moderation-groundtruth con le annotazioni di base. Tutte le immagini in un set di dati dovrebbero trovarsi nello stesso bucket. La struttura è comune sia ai file manifest di addestramento che a quelli di test.

L'operazione CreateProjectVersion di moderazione personalizzata utilizza le informazioni fornite nel manifest di input per addestrare un adattatore.

L'esempio seguente è una riga di un file manifest per una singola immagine che contiene una sola classe non sicura:

{
   "source-ref": "s3://foo/bar/1.jpg",
   "content-moderation-groundtruth": {
        "ModerationLabels": [
            { 
                "Name": "Rude Gesture"
            }
        ]
   }
}
                

L'esempio seguente è una riga di un file manifest per una singola immagine non sicura che contiene più classi non sicure, in particolare nudità e gesti maleducati.

{
   "source-ref": "s3://foo/bar/1.jpg",
   "content-moderation-groundtruth": {
        "ModerationLabels": [
            { 
                "Name": "Rude Gesture"
            },
            {
                "Name": "Nudity"
            }
        ]
   }
}
                

L'esempio seguente è una riga di un file manifest per una singola immagine che contiene una sola classe non sicura:

{
   "source-ref": "s3://foo/bar/1.jpg",
   "content-moderation-groundtruth": {
        "ModerationLabels": []
   }
}

Per l'elenco completo delle etichette supportate, consulta Moderazione dei contenuti.

Manifest di output

Al termine di un processo di formazione, viene restituito un file manifest di output. Il file manifest di output è un file delimitato da una JSON riga con ogni riga contenente informazioni per una singola JSON immagine. Amazon S3 Path to the OutputManifest può essere ottenuto dalla DescribeProjectVersion risposta:

• TrainingDataResult.Output.Assets[0].GroundTruthManifest.S3Object per il set di dati di addestramento

• TestingDataResult.Output.Assets[0].GroundTruthManifest.S3Object per testare il set di dati

Le seguenti informazioni vengono restituite per ogni voce del manifest di output:

Nome chiave	Descrizione
source-ref	Riferimento a un'immagine in s3 fornita nel manifesto di input
content-moderation-groundtruth	Annotazioni di base relative alla verità fornite nel manifesto di input
detect-moderation-labels	Previsioni dell'adattatore, solo parte del set di dati di test
detect-moderation-labels-base-model	Previsioni del modello di base, solo parte del set di dati di test

Le previsioni dell'adattatore e del modello di base vengono restituite alla ConfidenceTrehsold versione 5.0 nel formato simile alla risposta. DetectModerationLabels

L'esempio seguente mostra la struttura delle previsioni dei modelli Adapter e Base:

{
   "ModerationLabels": [ 
      { 
         "Confidence": number,
         "Name": "string",
         "ParentName": "string"
      }
   ],
   "ModerationModelVersion": "string",
   "ProjectVersion": "string"
}

Per l'elenco completo delle etichette restituite, consulta Moderazione dei contenuti.

Risultati della valutazione manifest

Al termine di un processo di addestramento, viene restituito un file manifest. Il manifesto dei risultati della valutazione è un JSON file generato dal processo di formazione e contiene informazioni sulle prestazioni dell'adattatore sui dati di test.

Il percorso di Amazon S3 verso il manifesto dei risultati della valutazione può essere ottenuto dal EvaluationResult.Summary.S3Object campo nella DescribeProejctVersion risposta.

Il seguente esempio illustra la struttura dei risultati della valutazione manifest:

{
    "AggregatedEvaluationResults": {
       "F1Score": number
    },

    "EvaluationDetails": {
        "EvaluationEndTimestamp": "datetime",
        "Labels": [
            "string"
        ],
        "NumberOfTestingImages": number,
        "NumberOfTrainingImages": number,
        "ProjectVersionArn": "string"
    },

    "ContentModeration": {
        "InputConfidenceThresholdEvalResults": {
            "ConfidenceThreshold": float,
            "AggregatedEvaluationResults": {
                "BaseModel": {
                    "TruePositive": int,
                    "TrueNegative": int,
                    "FalsePositive": int,
                    "FalseNegative": int
                },
                "Adapter": {
                    "TruePositive": int,
                    "TrueNegative": int,
                    "FalsePositive": int,
                    "FalseNegative": int
                }
            },
            "LabelEvaluationResults": [
                {
                    "Label": "string",
                    "BaseModel": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    },
                    "Adapter": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    }
                }
            ]
        }
        "AllConfidenceThresholdsEvalResults": [
            {
                "ConfidenceThreshold": float,
                "AggregatedEvaluationResults": {
                    "BaseModel": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    },
                    "Adapter": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    }
                },
                "LabelEvaluationResults": [
                    {
                       "Label": "string",
                        "BaseModel": {
                            "TruePositive": int,
                            "TrueNegative": int,
                            "FalsePositive": int,
                            "FalseNegative": int
                        },
                        "Adapter": {
                            "TruePositive": int,
                            "TrueNegative": int,
                            "FalsePositive": int,
                            "FalseNegative": int
                        }
                    }
                ]
            }
        ]
    }
}

                

Il file della valutazione manifest contiene:

• Risultati aggregati come definiti da F1Score

• Dettagli sul lavoro di valutazione ProjectVersionArn, tra cui il numero di immagini di formazione, il numero di immagini di test e le etichette su cui è stato addestrato l'adattatore.

• FalseNegative Risultati aggregati TruePositive, TrueNegative FalsePositive, e relativi alle prestazioni sia del modello di base che dell'adattatore.

• Per etichetta TruePositive, TrueNegative FalsePositive, e FalseNegative risultati relativi alle prestazioni del modello base e dell'adattatore, calcolati in base alla soglia di confidenza di input.

• Risultati aggregati e per etichetta TruePositive, TrueNegative FalsePositive, e FalseNegative risultati relativi alle prestazioni del modello di base e dell'adattatore a diverse soglie di confidenza. La soglia di confidenza varia da 5 a 100 a intervalli di 5.