翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
取得のみの評価ジョブには、JSON 行形式を使用したプロンプトデータセットが必要です。データセットには最大 1000 個のプロンプトを含めることができます。
Amazon Bedrock がナレッジベースを呼び出す取得専用評価ジョブを実行する
Amazon Bedrock がナレッジベースを呼び出す取得専用評価ジョブを作成するには、プロンプトデータセットに次のキーと値のペアが含まれている必要があります。
-
referenceResponses– この親キーは、end-to-endの RAG システムが返すと予想されるグラウンドトゥルースレスポンスを指定するために使用されます。このパラメータは、ナレッジベースから取得される予定の想定されるパッセージまたはチャンクを表すものではありません。textキーにグラウンドトゥルースを指定します。referenceResponsesは、評価ジョブでコンテキストカバレッジメトリクスを選択した場合に必要です。 -
prompt– この親キーは、RAG システムが応答するプロンプト (ユーザークエリ) を指定するために使用されます。
以下は、6 つの入力を含み、JSON Lines 形式を使用するカスタムデータセットの例です。
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},{"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},{"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},{"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},{"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},{"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},{"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}次のプロンプトはわかりやすくするために展開されています。実際のプロンプトデータセットでは、各行 (プロンプト) は有効な JSON オブジェクトである必要があります。
{
"conversationTurns": [
{
"prompt": {
"content": [
{
"text": "What is the recommended service interval for your product?"
}
]
},
"referenceResponses": [
{
"content": [
{
"text": "The recommended service interval for our product is two years."
}
]
}
]
}
]
}
独自の推論レスポンスデータを使用して、取得専用評価ジョブを実行する
独自の推論レスポンスデータを提供する取得専用評価ジョブを作成するには、プロンプトデータセットに以下が含まれている必要があります。
-
prompt– この親キーは、推論レスポンスデータの生成に使用したプロンプト (ユーザークエリ) を指定するために使用されます。 -
referenceResponses– この親キーは、end-to-endの RAG システムが返すと予想されるグラウンドトゥルースレスポンスを指定するために使用されます。このパラメータは、ナレッジベースから取得される予定の想定されるパッセージまたはチャンクを表すものではありません。textキーにグラウンドトゥルースを指定します。referenceResponsesは、評価ジョブでコンテキストカバレッジメトリクスを選択した場合に必要です。 -
knowledgeBaseIdentifier– 取得結果の生成に使用される RAG ソースを識別する、お客様が定義した文字列。 -
retrievedResults– 取得結果のリストを含む JSON オブジェクト。結果ごとに、キーと値のペアとしてmetadata指定されたオプションnameとオプションを指定できます。
以下は、6 つの入力を含み、JSON Lines 形式を使用するカスタムデータセットの例です。
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}次のプロンプトはわかりやすくするために展開されています。実際のプロンプトデータセットでは、各行 (プロンプト) は有効な JSON オブジェクトである必要があります。
{
"conversationTurns": [
{
"prompt": {
"content": [
{
"text": "What is the recommended service interval for your product?"
}
]
},
"referenceResponses": [
{
"content": [
{
"text": "The recommended service interval for our product is two years."
}
]
}
],
"output": {
"knowledgeBaseIdentifier": "RAG source 1",
"retrievedResults": {
"retrievalResults": [
{
"name": "(Optional) a name for your retrieval",
"content": {
"text": "The recommended service interval for our product is two years."
},
"metadata": {
"(Optional) a key for your metadata": "(Optional) a value for your metadata"
}
}
]
}
}
}
]
}