Erstellen Sie Ihren ersten Model-Evaluierungsjob, bei dem ein LLM AS-Richter in Amazon Bedrock verwendet wird

Um einen Model-Evaluierungsjob zu erstellen, der einen LLM AS-Richter verwendet, benötigen Sie Zugriff auf bestimmte Service-Level-Ressourcen und grundlegende Modelle von Amazon Bedrock. In den verlinkten Themen erfahren Sie mehr über die Einrichtung.

Erforderliche Service-Level-Ressourcen, um einen Modellevaluierungsauftrag zu starten, bei dem ein Richtermodell verwendet wird

1. Sie benötigen Zugriff auf mindestens eines der folgenden Amazon Bedrock Foundation-Modelle. Dies sind die verfügbaren Judge-Modelle. Weitere Informationen zum Zugriff auf Modelle und zur Verfügbarkeit in bestimmten Regionen finden Sie unterGreifen Sie auf Amazon Bedrock Foundation-Modelle zu.

   • Mistral Large – mistral.mistral-large-2402-v1:0

   • Anthropic Claude 3.5 Sonnet – anthropic.claude-3-5-sonnet-20240620-v1:0

   • Anthropic Claude 3 Haiku – anthropic.claude-3-haiku-20240307-v1:0:

   • Meta Llama 3.1 70B Instruct – meta.llama3-1-70b-instruct-v1:0

2. Erstellen Sie einen Prompt-Datensatz. Ihr Prompt-Datensatz ist ein Datensatz im JSON-Lines (jsonl) -Format, der die Eingabeaufforderungen und die erforderlichen Ground-Truth-Daten enthält, damit der Modellevaluierungsjob erfolgreich ausgeführt werden kann. Weitere Informationen finden Sie unter Anforderungen an benutzerdefinierte Eingabeaufforderungsdatensätze in einer Modellevaluierungsaufgabe, bei der ein Modell als Richter verwendet wird.

3. Um einen Modellevaluierungsjob zu erstellen, der einen LLM Richter verwendet, benötigen Sie Zugriff auf den https://console.aws.amazon.com/bedrock/unterstützten AWS Command Line Interface Code, oder. AWS SDK Weitere Informationen zu den erforderlichen IAM Aktionen und Ressourcen finden Sie unterErforderliche Konsolenberechtigungen, um einen Model-Evaluierungsjob zu erstellen, der ein Model als Judge in Amazon Bedrock verwendet.

4. Wenn die Modellevaluierung gestartet wird, wird eine Servicerolle verwendet, um Aktionen in Ihrem Namen auszuführen. Weitere Informationen zu erforderlichen IAM Aktionen und Anforderungen an Vertrauensrichtlinien finden Sie unterErforderliche Servicerollenberechtigungen für die Erstellung eines Model-Evaluierungsjobs, der ein Richtermodell verwendet.

5. Amazon Simple Storage Service — Jeder Prompt-Datensatz, der in einem Modellevaluierungsjob angegeben wurde, muss in einem Amazon S3 S3-Bucket platziert werden. Für Modellevaluierungsjobs, die mit der Amazon Bedrock-Konsole erstellt wurden, müssen Sie die richtigen CORS Berechtigungen für den Bucket angeben. Weitere Informationen zu den erforderlichen CORS Richtlinienberechtigungen finden Sie unterErforderliche Cross Origin Resource Sharing (CORS) -Berechtigungen für S3-Buckets.

Erforderliche Konsolenberechtigungen, um einen Model-Evaluierungsjob zu erstellen, der ein Model als Judge in Amazon Bedrock verwendet

Die folgende Richtlinie enthält die Mindestanzahl an IAM Aktionen und Ressourcen in Amazon Bedrock und Amazon S3, die erforderlich sind, um mithilfe der Amazon Bedrock-Konsole einen automatischen Modellevaluierungsauftrag zu erstellen.

In der Richtlinie empfehlen wir, das IAM JSON Richtlinienelement Resource zu verwenden, um den Zugriff nur auf die Modelle und Buckets zu beschränken, die für den IAM Benutzer, die Gruppe oder die Rolle erforderlich sind.

Die IAM Richtlinie muss sowohl auf Generator - als auch auf Evaluatormodelle zugreifen.

{
	"Version": "2012-10-17",
	"Statement": [
	    {
	        "Sid": "BedrockConsole",
	        "Effect": "Allow",
	        "Action": [
				"bedrock:CreateEvaluationJob",
				"bedrock:GetEvaluationJob",
				"bedrock:ListEvaluationJobs",
				"bedrock:StopEvaluationJob",
				"bedrock:GetCustomModel",
				"bedrock:ListCustomModels",
				"bedrock:CreateProvisionedModelThroughput",
				"bedrock:UpdateProvisionedModelThroughput",
				"bedrock:GetProvisionedModelThroughput",
				"bedrock:ListProvisionedModelThroughputs",
				"bedrock:GetImportedModel",
				"bedrock:ListImportedModels",
				"bedrock:ListTagsForResource",
				"bedrock:UntagResource",
				"bedrock:TagResource"
	        ],
	        "Resource": [
				"arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
				"arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
			]
	    },
	    {
	        "Sid": "AllowConsoleS3AccessForModelEvaluation",
	        "Effect": "Allow",
	        "Action": [
	          "s3:GetObject",
	          "s3:GetBucketCORS",
	          "s3:ListBucket",
	          "s3:ListBucketVersions",
	          "s3:GetBucketLocation"
	        ],
	        "Resource": [
				"arn:aws:s3:::my_output_bucket",
				"arn:aws:s3:::input_datasets/prompts.jsonl",

			]
	    }
	]
}