Formatos de arquivo manifesto

As seções a seguir mostram exemplos dos formatos de arquivo de manifesto para arquivos de entrada, saída e avaliação.

Manifesto de entrada

Um arquivo manifesto é um arquivo delimitado por linha json, com cada linha contendo um JSON que contém informações sobre uma única imagem.

Cada entrada no manifesto de entrada deve conter o campo source-ref com um caminho para a imagem no bucket do Amazon S3 e, para moderação personalizada, o campo content-moderation-groundtruth com anotações básicas. Espera-se que todas as imagens em um conjunto de dados estejam no mesmo bucket. A estrutura é comum aos arquivos de manifesto de treinamento e teste.

A operação CreateProjectVersion de moderação personalizada usa as informações fornecidas no manifesto de entrada para treinar um adaptador.

O exemplo a seguir é uma linha de um arquivo de manifesto para uma única imagem que contém uma única classe não segura:

{
   "source-ref": "s3://foo/bar/1.jpg",
   "content-moderation-groundtruth": {
        "ModerationLabels": [
            { 
                "Name": "Rude Gesture"
            }
        ]
   }
}
                

O exemplo a seguir é uma linha de um arquivo de manifesto para uma única imagem insegura que contém várias classes inseguras, especificamente Nudez e Gesto Rude.

{
   "source-ref": "s3://foo/bar/1.jpg",
   "content-moderation-groundtruth": {
        "ModerationLabels": [
            { 
                "Name": "Rude Gesture"
            },
            {
                "Name": "Nudity"
            }
        ]
   }
}
                

O exemplo a seguir é uma linha de um arquivo de manifesto para uma única imagem que não contém nenhuma classe insegura:

{
   "source-ref": "s3://foo/bar/1.jpg",
   "content-moderation-groundtruth": {
        "ModerationLabels": []
   }
}

Para ver a lista completa de rótulos compatíveis, consulte Moderação de conteúdo.

Manifesto de saída

Ao concluir um trabalho de treinamento, um arquivo de manifesto de saída é retornado. O arquivo de manifesto de saída é um arquivo delimitado por linha JSON com cada linha contendo um JSON que contém informações para uma única imagem. O caminho do Amazon S3 para o OutputManifest pode ser obtido a partir da DescribeProjectVersion resposta:

• TrainingDataResult.Output.Assets[0].GroundTruthManifest.S3Object para conjunto de dados de treinamento

• TestingDataResult.Output.Assets[0].GroundTruthManifest.S3Object para testar o conjunto de dados

As informações a seguir são retornadas para cada entrada no manifesto de saída:

Nome da chave	Descrição
source-ref	Referência a uma imagem em s3 que foi fornecida no manifesto de entrada
content-moderation-groundtruth	Anotações verdadeiras básicas que foram fornecidas no manifesto de entrada
detect-moderation-labels	Previsões do adaptador, apenas parte do conjunto de dados de teste
detect-moderation-labels-base-model	Previsões do modelo básico, apenas parte do conjunto de dados de teste

As previsões do adaptador e do modelo básico são retornadas em ConfidenceTrehsold 5.0 no formato semelhante à resposta do DetectModerationLabels.

O exemplo a seguir mostra a estrutura das previsões do modelo Adaptador e Base:

{
   "ModerationLabels": [ 
      { 
         "Confidence": number,
         "Name": "string",
         "ParentName": "string"
      }
   ],
   "ModerationModelVersion": "string",
   "ProjectVersion": "string"
}

Para ver a lista completa de rótulos devolvidos, consulte Moderação de conteúdo.

Manifesto dos resultados da avaliação

Ao concluir um trabalho de treinamento, um arquivo de manifesto do resultado da avaliação é retornado. O manifesto dos resultados da avaliação é um arquivo JSON gerado pelo trabalho de treinamento e contém informações sobre o desempenho do adaptador nos dados de teste.

O caminho do Amazon S3 para o manifesto dos resultados da avaliação pode ser obtido no EvaluationResult.Summary.S3Object campo na DescribeProejctVersion resposta.

O exemplo a seguir mostra a estrutura do manifesto dos resultados da avaliação:

{
    "AggregatedEvaluationResults": {
       "F1Score": number
    },

    "EvaluationDetails": {
        "EvaluationEndTimestamp": "datetime",
        "Labels": [
            "string"
        ],
        "NumberOfTestingImages": number,
        "NumberOfTrainingImages": number,
        "ProjectVersionArn": "string"
    },

    "ContentModeration": {
        "InputConfidenceThresholdEvalResults": {
            "ConfidenceThreshold": float,
            "AggregatedEvaluationResults": {
                "BaseModel": {
                    "TruePositive": int,
                    "TrueNegative": int,
                    "FalsePositive": int,
                    "FalseNegative": int
                },
                "Adapter": {
                    "TruePositive": int,
                    "TrueNegative": int,
                    "FalsePositive": int,
                    "FalseNegative": int
                }
            },
            "LabelEvaluationResults": [
                {
                    "Label": "string",
                    "BaseModel": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    },
                    "Adapter": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    }
                }
            ]
        }
        "AllConfidenceThresholdsEvalResults": [
            {
                "ConfidenceThreshold": float,
                "AggregatedEvaluationResults": {
                    "BaseModel": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    },
                    "Adapter": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    }
                },
                "LabelEvaluationResults": [
                    {
                       "Label": "string",
                        "BaseModel": {
                            "TruePositive": int,
                            "TrueNegative": int,
                            "FalsePositive": int,
                            "FalseNegative": int
                        },
                        "Adapter": {
                            "TruePositive": int,
                            "TrueNegative": int,
                            "FalsePositive": int,
                            "FalseNegative": int
                        }
                    }
                ]
            }
        ]
    }
}

                

O arquivo de manifesto de avaliação contém:

• Resultados agregados conforme definido por F1Score

• Detalhes do trabalho de avaliação ProjectVersionArn, incluindo o número de imagens de treinamento, o número de imagens de teste e as etiquetas nas quais o adaptador foi treinado.

• FalseNegative Resultados agregados TruePositive, TrueNegative, FalsePositive, para o modelo básico e para o desempenho do adaptador.

• Por etiqueta TruePositive,, TrueNegative FalsePositive, e FalseNegative resultados para o modelo básico e o desempenho do adaptador, calculados no limite de confiança de entrada.

• FalseNegative Resultados agregados e por rótulo TruePositive, TrueNegative, FalsePositive, e para o desempenho do modelo básico e do adaptador em diferentes limites de confiança. O limite de confiança varia de 5 a 100 em etapas de 5.