매니페스트 파일 형식

다음 섹션에는 입력, 출력 및 평가 파일의 매니페스트 파일 형식 샘플이 나와 있습니다.

입력 매니페스트

매니페스트 파일은 json 행으로 구분된 파일로, 각 줄에는 단일 이미지에 대한 정보가 들어 있는 a가 들어 있습니다. JSON

입력 매니페스트의 각 항목은 Amazon S3 버킷에 든 이미지 경로가 있는 source-ref 필드를 포함해야 하며, 사용자 지정 조절의 경우 실측 정보 주석이 있는 content-moderation-groundtruth 필드를 포함해야 합니다. 한 데이터 세트의 모든 이미지는 동일한 버킷에 있어야 합니다. 이 구조는 훈련 매니페스트 파일과 테스트 매니페스트 파일 모두에 공통으로 적용됩니다.

사용자 지정 조절의 CreateProjectVersion 작업은 입력 매니페스트에 제공된 정보를 사용하여 어댑터를 훈련시킵니다.

다음 예제는 안전하지 않은 단일 클래스가 포함된 단일 이미지에 대한 매니페스트 파일의 한 줄입니다.

{
   "source-ref": "s3://foo/bar/1.jpg",
   "content-moderation-groundtruth": {
        "ModerationLabels": [
            { 
                "Name": "Rude Gesture"
            }
        ]
   }
}
                

다음 예제는 안전하지 않은 여러 클래스, 특히 나체 및 무례한 제스처를 포함하는 안전하지 않은 단일 이미지에 대한 매니페스트 파일의 한 줄입니다.

{
   "source-ref": "s3://foo/bar/1.jpg",
   "content-moderation-groundtruth": {
        "ModerationLabels": [
            { 
                "Name": "Rude Gesture"
            },
            {
                "Name": "Nudity"
            }
        ]
   }
}
                

다음 예제는 안전하지 않은 클래스가 포함되지 않은 단일 이미지에 대한 매니페스트 파일의 한 줄입니다.

{
   "source-ref": "s3://foo/bar/1.jpg",
   "content-moderation-groundtruth": {
        "ModerationLabels": []
   }
}

지원되는 레이블의 전체 목록은 콘텐츠 조절을 참조하세요.

출력 매니페스트

훈련 작업이 완료되면 출력 매니페스트 파일이 반환됩니다. 출력 매니페스트 파일은 JSON -행으로 구분된 파일이며, 각 줄에는 단일 이미지에 대한 정보가 들어 있는 a가 들어 있습니다. JSON Amazon S3 에 대한 경로는 DescribeProjectVersion 응답에서 OutputManifest 확인할 수 있습니다.

• 데이터 세트 훈련용 TrainingDataResult.Output.Assets[0].GroundTruthManifest.S3Object

• 데이터 세트 테스트용 TestingDataResult.Output.Assets[0].GroundTruthManifest.S3Object

출력 매니페스트의 각 항목에 대해 다음 정보가 반환됩니다.

키 이름	설명
source-ref	입력 매니페스트에 제공된 s3의 이미지에 대한 참조
content-moderation-groundtruth	입력 매니페스트에 제공된 그라운드 트루스 어노테이션
detect-moderation-labels	어댑터 예측, 테스트 데이터세트의 일부만
detect-moderation-labels-base-model	기본 모델 예측, 테스트 데이터세트의 일부만

어댑터 및 기본 모델 예측은 응답과 유사한 형식으로 ConfidenceTrehsold 5.0에서 반환됩니다. DetectModerationLabels

다음 예제는 어댑터 및 기본 모델 예측의 구조를 보여줍니다.

{
   "ModerationLabels": [ 
      { 
         "Confidence": number,
         "Name": "string",
         "ParentName": "string"
      }
   ],
   "ModerationModelVersion": "string",
   "ProjectVersion": "string"
}

반환되는 레이블의 전체 목록은 콘텐츠 조절을 참조하세요.

평가 결과 매니페스트

훈련 작업이 완료되면 평가 결과 매니페스트 파일이 반환됩니다. 평가 결과 매니페스트는 교육 작업에서 출력한 JSON 파일로, 어댑터가 테스트 데이터에서 얼마나 잘 수행되었는지에 대한 정보를 포함합니다.

Amazon S3 평가 결과 매니페스트의 경로는 DescribeProejctVersion 응답의 EvaluationResult.Summary.S3Object 필드에서 확인할 수 있습니다.

다음 예제는 평가 결과 매니페스트 구조를 보여줍니다.

{
    "AggregatedEvaluationResults": {
       "F1Score": number
    },

    "EvaluationDetails": {
        "EvaluationEndTimestamp": "datetime",
        "Labels": [
            "string"
        ],
        "NumberOfTestingImages": number,
        "NumberOfTrainingImages": number,
        "ProjectVersionArn": "string"
    },

    "ContentModeration": {
        "InputConfidenceThresholdEvalResults": {
            "ConfidenceThreshold": float,
            "AggregatedEvaluationResults": {
                "BaseModel": {
                    "TruePositive": int,
                    "TrueNegative": int,
                    "FalsePositive": int,
                    "FalseNegative": int
                },
                "Adapter": {
                    "TruePositive": int,
                    "TrueNegative": int,
                    "FalsePositive": int,
                    "FalseNegative": int
                }
            },
            "LabelEvaluationResults": [
                {
                    "Label": "string",
                    "BaseModel": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    },
                    "Adapter": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    }
                }
            ]
        }
        "AllConfidenceThresholdsEvalResults": [
            {
                "ConfidenceThreshold": float,
                "AggregatedEvaluationResults": {
                    "BaseModel": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    },
                    "Adapter": {
                        "TruePositive": int,
                        "TrueNegative": int,
                        "FalsePositive": int,
                        "FalseNegative": int
                    }
                },
                "LabelEvaluationResults": [
                    {
                       "Label": "string",
                        "BaseModel": {
                            "TruePositive": int,
                            "TrueNegative": int,
                            "FalsePositive": int,
                            "FalseNegative": int
                        },
                        "Adapter": {
                            "TruePositive": int,
                            "TrueNegative": int,
                            "FalsePositive": int,
                            "FalseNegative": int
                        }
                    }
                ]
            }
        ]
    }
}

                

평가 매니페스트 파일에는 다음이 포함됩니다.

• F1Score에 정의된 집계 결과

• 교육 이미지 수, 테스트 이미지 수 ProjectVersionArn, 어댑터가 학습된 레이블 등 평가 작업에 대한 세부 정보입니다.

• 기본 모델 및 어댑터 성능 모두에 대한 집계 TruePositive TrueNegative FalsePositive,, 및 FalseNegative 결과

• 입력 신뢰도 임계값에서 계산된 기본 모델 및 어댑터 성능 모두에 대한 TruePositive 레이블별, 및 FalseNegative 결과입니다. TrueNegative FalsePositive

• 서로 다른 신뢰 임계값에서의 기본 모델 및 어댑터 성능에 대한 집계된 FalseNegative 결과 및 레이블별 TruePositive TrueNegative FalsePositive, 및 결과 신뢰도 임계값의 범위는 5에서 100까지이며 5씩 조절 가능합니다.