Formatos de archivo de manifiesto

En las siguientes secciones se muestran ejemplos de los formatos de los archivos de manifiesto para los archivos de entrada, salida y evaluación.

Manifiesto de entrada

Un archivo de manifiesto es un archivo delimitado por json-line, en el que cada línea contiene un archivo que contiene información sobre una sola imagen. JSON

Cada entrada del manifiesto de entrada debe contener el campo source-ref con una ruta a la imagen en el bucket de Amazon S3 y, en el caso de la moderación personalizada, el campo content-moderation-groundtruth con anotaciones básicas. Se espera que todas las imágenes de un conjunto de datos se encuentren en el mismo bucket. La estructura es común a los archivos de manifiesto de entrenamiento y prueba.

La operación CreateProjectVersionde Moderación personalizada utiliza la información proporcionada en el manifiesto de entrada para entrenar un adaptador.

El siguiente ejemplo es una línea de un archivo de manifiesto para una sola imagen que contiene una sola clase insegura:

{
   "source-ref": "s3://foo/bar/1.jpg",
   "content-moderation-groundtruth": {
        "ModerationLabels": [
            { 
                "Name": "Rude Gesture"
            }
        ]
   }
}
                

El siguiente ejemplo es una línea de un archivo de manifiesto para una imagen única e insegura que contiene varias clases no seguras, específicamente Desnudo y Gesto grosero.

{
   "source-ref": "s3://foo/bar/1.jpg",
   "content-moderation-groundtruth": {
        "ModerationLabels": [
            { 
                "Name": "Rude Gesture"
            },
            {
                "Name": "Nudity"
            }
        ]
   }
}
                

El siguiente ejemplo es una línea de un archivo de manifiesto para una sola imagen que no contiene ninguna clase no segura:

{
   "source-ref": "s3://foo/bar/1.jpg",
   "content-moderation-groundtruth": {
        "ModerationLabels": []
   }
}

Para ver la lista completa de etiquetas compatibles, consulte Moderar el contenido.

Manifiesto de salida

Al finalizar un trabajo de entrenamiento, se devuelve un archivo de manifiesto de salida. El archivo de manifiesto de salida es un archivo delimitado por JSON líneas y cada línea contiene una JSON que contiene información de una sola imagen. La ruta de Amazon S3 al se OutputManifest puede obtener a partir de la DescribeProjectVersion respuesta:

• TrainingDataResult.Output.Assets[0].GroundTruthManifest.S3Object para el conjunto de datos de entrenamiento

• TestingDataResult.Output.Assets[0].GroundTruthManifest.S3Object para el conjunto de datos de pruebas

Se devuelve la siguiente información para cada entrada del manifiesto de salida:

Nombre de clave	Descripción
source-ref	Referencia a una imagen de S3 que se proporcionó en el manifiesto de entrada
content-moderation-groundtruth	Fundamenta las anotaciones verídicas que se proporcionaron en el manifiesto de entrada
detect-moderation-labels	Las predicciones del adaptador, solo forman parte del conjunto de datos de prueba
detect-moderation-labels-base-model	Predicciones del modelo base, solo parte del conjunto de datos de prueba

Las predicciones del adaptador y del modelo base se devuelven en ConfidenceTrehsold 5.0 en un formato similar al de la DetectModerationLabelsrespuesta.

El siguiente ejemplo muestra la estructura de las predicciones del modelo base y del adaptador:

{
   "ModerationLabels": [ 
      { 
         "Confidence": number,
         "Name": "string",
         "ParentName": "string"
      }
   ],
   "ModerationModelVersion": "string",
   "ProjectVersion": "string"
}

Para ver la lista completa de etiquetas devueltas, consulte Moderar el contenido.

Manifiesto de resultados de evaluación

Al finalizar un trabajo de entrenamiento, se devuelve un archivo con el manifiesto de los resultados de la evaluación. El manifiesto de resultados de la evaluación es un JSON archivo generado por el trabajo de formación y contiene información sobre el rendimiento del adaptador con los datos de la prueba.

La ruta de Amazon S3 al manifiesto de los resultados de la evaluación se puede obtener en el EvaluationResult.Summary.S3Object campo de la DescribeProejctVersion respuesta.

La estructura del manifiesto de resultados de evaluación se muestra en el ejemplo siguiente:

{
    "AggregatedEvaluationResults": {
       "F1Score": number
    },

    "EvaluationDetails": {
        "EvaluationEndTimestamp": "datetime",
        "Labels": [
            "string"
        ],
        "NumberOfTestingImages": number,
        "NumberOfTrainingImages": number,
        "ProjectVersionArn": "string"
    },

    "ContentModeration": {
        "InputConfidenceThresholdEvalResults": {
            "ConfidenceThreshold": float,
            "AggregatedEvaluationResults": {
                "BaseModel": {
                    "TruePositive": int,
                    "TrueNegative": int,
                    "FalsePositive": int,
                    "FalseNegative": int
                },
                "Adapter": {
                    "TruePositive": int,
                    "TrueNegative": int,
                    "FalsePositive": int,
                    "FalseNegative": int
                }
            },
            "LabelEvaluationResults": [
                {
                    "Label": "string",
                    "BaseModel": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    },
                    "Adapter": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    }
                }
            ]
        }
        "AllConfidenceThresholdsEvalResults": [
            {
                "ConfidenceThreshold": float,
                "AggregatedEvaluationResults": {
                    "BaseModel": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    },
                    "Adapter": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    }
                },
                "LabelEvaluationResults": [
                    {
                       "Label": "string",
                        "BaseModel": {
                            "TruePositive": int,
                            "TrueNegative": int,
                            "FalsePositive": int,
                            "FalseNegative": int
                        },
                        "Adapter": {
                            "TruePositive": int,
                            "TrueNegative": int,
                            "FalsePositive": int,
                            "FalseNegative": int
                        }
                    }
                ]
            }
        ]
    }
}

                

El archivo del manifiesto de evaluación contiene:

• Resultados agregados según lo definido por F1Score

• Detalles del trabajo de evaluación ProjectVersionArn, incluidos el número de imágenes de entrenamiento, el número de imágenes de prueba y las etiquetas con las que se entrenó el adaptador.

• FalseNegative Resultados agregados TruePositive y obtenidos tanto para el modelo base como para el rendimiento del adaptador. TrueNegative FalsePositive

• Por etiqueta TruePositive TrueNegative FalsePositive, y FalseNegative resultados tanto para el modelo base como para el rendimiento del adaptador, calculados según el umbral de confianza de entrada.

• Resultados agregados y por etiqueta TruePositive TrueNegative FalsePositive, y FalseNegative resultados para el rendimiento del modelo base y del adaptador con diferentes umbrales de confianza. El umbral de confianza oscila entre 5 y 100 en pasos de 5.