審査員モデルを使用するモデル評価ジョブを作成するために必要なサービスロールのアクセス許可

LLM を審査員として使用するモデル評価ジョブを作成するには、サービスロールを指定する必要があります。アタッチするポリシーで、Amazon Bedrock にアカウント内のリソースへのアクセスを許可し、Amazon Bedrock がユーザーに代わって選択したモデルを呼び出すことを許可します。

信頼ポリシーは、 を使用して Amazon Bedrock をサービスプリンシパルとして定義しますbedrock.amazonaws.com。次の各ポリシー例は、モデル評価ジョブで呼び出された各サービスに基づいて必要な正確な IAM アクションを示しています。

以下で説明するようにカスタムサービスロールを作成するには、「IAM ユーザーガイド」の「カスタム信頼ポリシーを使用するロールの作成」を参照してください。

必要な Amazon Bedrock の IAM アクション

Amazon Bedrock がモデル評価ジョブで指定する予定のモデルを呼び出すことを許可するポリシーを作成する必要があります。Amazon Bedrock モデルへのアクセスの管理については、「Access Amazon Bedrock foundation models」を参照してください。ポリシーの "Resource" セクションでは、アクセス可能なモデルの ARN を少なくとも 1 つ指定する必要があります。カスタマーマネージド KMS キーで暗号化されたモデルを使用するには、必要な IAM アクションとリソースを IAM サービスロールポリシーに追加する必要があります。また、サービスロールを AWS KMS キーポリシーに追加する必要があります。

サービスロールには、少なくとも 1 つのサポートされている評価者モデルへのアクセスが含まれている必要があります。現在サポートされている評価者モデルのリストについては、「」を参照してくださいサポートされているモデル。

JSON

{
	"Version": "2012-10-17",
	"Statement": [
		{
			"Sid": "BedRockModelInvoke",
			"Effect": "Allow",
			"Action": [
				"bedrock:InvokeModel",
				"bedrock:CreateModelInvocationJob",
				"bedrock:StopModelInvocationJob"
			],
			"Resource": [
				"arn:aws:bedrock:region::foundation-model/*",
				"arn:aws:bedrock:region:111122223333:inference-profile/*",
				"arn:aws:bedrock:region:111122223333:provisioned-model/*",
				"arn:aws:bedrock:region:111122223333:imported-model/*""
			]
		}
	]
}

必要な Amazon S3 IAM アクションとリソース

サービスロールポリシーには、モデル評価ジョブの出力を保存する Amazon S3 バケットへのアクセスと、CreateEvaluationJobリクエストまたは Amazon Bedrock コンソールで指定したプロンプトデータセットへのアクセスを含める必要があります。

JSON

{
	"Version": "2012-10-17",
	"Statement": [
		{
			"Sid": "FetchAndUpdateOutputBucket",
			"Effect": "Allow",
			"Action": [
				"s3:GetObject",
				"s3:ListBucket",
				"s3:PutObject",
				"s3:GetBucketLocation",
				"s3:AbortMultipartUpload",
				"s3:ListBucketMultipartUploads"
			],
			"Resource": [
				"arn:aws:s3:::my_customdataset1_bucket",
	            "arn:aws:s3:::my_customdataset1_bucket/myfolder",
	            "arn:aws:s3:::my_customdataset2_bucket",
				"arn:aws:s3:::my_customdataset2_bucket/myfolder"
			]
		}
	]
}