사용자 지정 프롬프트 데이터 세트

모델 평가 작업에서 사용자 지정 프롬프트 데이터 세트를 사용할 수 있습니다.

사용자 지정 프롬프트 데이터 세트는 Amazon S3에 저장해야 하며, JSON 라인 형식을 사용하고 .jsonl 파일 확장자를 사용해야 합니다. Amazon S3에 데이터 세트를 업로드할 때는 S3 버킷의 Cross Origin Resource Sharing(CORS) 구성을 업데이트해야 합니다. 필수 CORS 권한에 대해 알아보려면 S3 버킷에 대한 필수 Cross Origin Resource Sharing(CORS) 권한 섹션을 참조하세요.

자동 모델 평가 작업에 사용되는 사용자 지정 프롬프트 데이터 세트의 요구 사항

자동 모델 평가 작업에서는 모델 평가 작업에서 선택한 각 지표에 대해 사용자 지정 프롬프트 데이터 세트를 사용할 수 있습니다. 사용자 지정 데이터 세트는 JSON 라인 형식(.jsonl)을 사용하며 각 라인은 유효한 JSON 객체여야 합니다. 자동 평가 작업당 데이터 세트에 최대 1,000개의 프롬프트가 있을 수 있습니다.

사용자 지정 데이터 세트에는 다음 키를 사용해야 합니다.

• prompt - 다음 작업에 대한 입력을 나타내는 데 필요합니다.

  • 모델이 응답해야 하는 프롬프트(일반적으로 텍스트 생성)입니다.

  • 질문 및 답변 작업 유형에서 모델이 답변해야 하는 질문입니다.

  • 모델이 텍스트 요약 작업에서 요약해야 하는 텍스트입니다.

  • 모델이 분류 작업에서 분류해야 하는 텍스트입니다.

• referenceResponse - 다음 작업 유형에 대해 모델을 평가할 때 실측 응답을 나타내는 데 필요합니다.

  • 질문 및 답변 작업의 모든 프롬프트에 대한 답변입니다.

  • 모든 정확성 및 견고성 평가에 대한 답변입니다.

• category - (선택 사항) 각 범주에 대해 보고된 평가 점수를 생성합니다.

예를 들어 정확도를 높이려면 요청해야 할 질문과 모델 응답을 확인할 수 있는 답변이 모두 필요합니다. 이 예제에서는 다음과 같이 질문에 포함된 값이 있는 prompt 키를 사용하고 답변에 포함된 값을 가진 referenceResponse 키를 사용합니다.

{
	"prompt": "Bobigny is the capital of",
	"referenceResponse": "Seine-Saint-Denis",
	"category": "Capitals"
}

이전 예제는 모델에 추론 요청으로 전송되는 JSON 라인 입력 파일의 한 라인입니다. 모델은 JSON 라인 데이터 세트에 있는 모든 레코드에서 간접적으로 호출됩니다. 다음 데이터 입력 예제는 평가를 위해 필요에 따라 category 키를 사용하는 질문 및 답변 작업에 해당하는 내용입니다.

{"prompt":"Aurillac is the capital of", "category":"Capitals", "referenceResponse":"Cantal"}
{"prompt":"Bamiyan city is the capital of", "category":"Capitals", "referenceResponse":"Bamiyan Province"}
{"prompt":"Sokhumi is the capital of", "category":"Capitals", "referenceResponse":"Abkhazia"}

작업자를 사용하는 모델 평가 작업의 형식 요구 사항에 대해 자세히 알아보려면 작업자를 사용하는 모델 평가 작업의 사용자 지정 프롬프트 데이터 세트에 대한 요구 사항 섹션을 참조하세요.

작업자를 사용하는 모델 평가 작업의 사용자 지정 프롬프트 데이터 세트에 대한 요구 사항

JSON 라인 형식에서 각 라인은 유효한 JSON 객체입니다. 프롬프트 데이터 세트는 모델 평가 작업당 최대 1,000개의 프롬프트를 포함할 수 있습니다.

유효한 프롬프트 입력에는 prompt 키가 포함되어야 합니다. category와 referenceResponse 는 모두 선택 사항입니다. category 키를 사용하여 모델 평가 보고서 카드에서 결과를 검토할 때 결과를 필터링하는 데 사용할 수 있는 특정 범주로 프롬프트에 레이블을 지정합니다. 이 referenceResponse 키를 사용하여 작업자가 평가 중에 참조할 수 있는 실측 응답을 지정합니다.

작업자 UI에서는 사용자가 prompt 및 referenceResponse에 대해 지정한 내용을 인간 작업자도 볼 수 있습니다.

다음은 6개의 입력이 포함되고 JSON 라인 형식을 사용하는 사용자 지정 데이터 세트의 예제입니다.

{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}

다음 예제는 명확성을 위해 단일 항목을 확장한 것입니다.

{
    "prompt": "What is high intensity interval training?",
    "category": "Fitness",
    "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods."
}