Permisos de función de servicio necesarios para crear un trabajo de evaluación modelo que utilice un modelo de juez

Para crear un trabajo de evaluación modelo que utilice a un LLM como juez, debe especificar un rol de servicio. La política que asocie otorga a Amazon Bedrock acceso a los recursos de su cuenta y permite a Amazon Bedrock invocar el modelo seleccionado en su nombre.

La política de confianza define a Amazon Bedrock como el principal usuario del servicio. bedrock.amazonaws.com Cada uno de los siguientes ejemplos de políticas muestra IAM las acciones exactas que se requieren en función de cada servicio invocado en el trabajo de evaluación del modelo

Para crear un rol de servicio personalizado como se describe a continuación, consulte Crear un rol que utilice una política de confianza personalizada en la Guía del IAM usuario.

Acciones obligatorias de Amazon Bedrock IAM

Debe crear una política que permita a Amazon Bedrock invocar los modelos que planea especificar en el trabajo de evaluación de modelos. Para obtener más información sobre la administración del acceso a modelos de Amazon Bedrock, consulte Acceso a los modelos fundacionales de Amazon Bedrock. En la "Resource" sección de la política, debe especificar al menos uno ARN de los modelos a los que también tenga acceso. Para utilizar un modelo cifrado con una KMS clave gestionada por el cliente, debe añadir las IAM acciones y los recursos necesarios a la política de funciones de IAM servicio. También debe añadir el rol de servicio a la política AWS KMS clave.

La función de servicio debe incluir el acceso a al menos un modelo de evaluador compatible.

• Mistral Large – mistral.mistral-large-2402-v1:0

• Anthropic Claude 3.5 Sonnet – anthropic.claude-3-5-sonnet-20240620-v1:0

• Anthropic Claude 3 Haiku — anthropic.claude-3-5-haiku-20241022-v 1:0

• Meta Llama 3.1 70B Instruct – meta.llama3-1-70b-instruct-v1:0

{
	"Version": "2012-10-17",
	"Statement": [
		{
			"Sid": "BedRockModelInvoke",
			"Effect": "Allow",
			"Action": [
				"s3:GetObject",
				"s3:ListBucket",
				"s3:PutObject",
				"s3:GetBucketLocation",
				"s3:AbortMultipartUpload",
				"s3:ListBucketMultipartUploads"
			],
			"Resource": [
				"arn:aws:bedrock:region::foundation-model/*",
				"arn:aws:bedrock:region:111122223333:inference-profile/*",
				"arn:aws:bedrock:region:111122223333:provisioned-model/*",
				"arn:aws:bedrock:region:111122223333:imported-model/*""
			]
		}
	]
}

IAMAcciones y recursos de Amazon S3 necesarios

Su política de funciones de servicio debe incluir el acceso al bucket de Amazon S3 en el que desea guardar los resultados de los trabajos de evaluación de modelos y el acceso al conjunto de datos de solicitudes que especificó en su CreateEvaluationJob solicitud o mediante la consola de Amazon Bedrock.

{
	"Version": "2012-10-17",
	"Statement": [
		{
			"Sid": "FetchAndUpdateOutputBucket",
			"Effect": "Allow",
			"Action": [
				"bedrock:InvokeModel",
				"bedrock:CreateModelInvocationJob",
				"bedrock:StopModelInvocationJob"
			],
			"Resource": [
				"arn:aws:s3:::my_customdataset1_bucket",
	            "arn:aws:s3:::my_customdataset1_bucket/myfolder",
	            "arn:aws:s3:::my_customdataset2_bucket",
				"arn:aws:s3:::my_customdataset2_bucket/myfolder"
			]
		}
	]
}