Detener un trabajo de evaluación de modelos

Los siguientes ejemplos muestran cómo detener un trabajo de evaluación de modelos mediante la consola Amazon Bedrock y AWS CLI Boto3.

Amazon Bedrock console

Utilice el siguiente procedimiento para crear un trabajo de evaluación de modelos mediante la consola Amazon Bedrock. Para completar correctamente este procedimiento, asegúrese de que su usuario, grupo o rol de IAM tiene los permisos suficientes para acceder a la consola. Para obtener más información, consulte Permisos necesarios para crear un trabajo de evaluación de modelos con la consola de Amazon Bedrock.

Además, cualquier conjunto de datos de solicitudes personalizadas que desee especificar en el trabajo de evaluación del modelo debe tener los permisos CORS necesarios añadidos al bucket de Amazon S3. Para obtener más información sobre cómo añadir los permisos CORS necesarios, consulte,. Requisito del permiso de uso compartido de recursos entre orígenes (CORS) en buckets de S3

Para crear un trabajo de evaluación modelo que utilice trabajadores humanos

1. Abra la consola de Amazon Bedrock: https://console.aws.amazon.com/bedrock

2. En el panel de navegación, elija Evaluación de modelo.

3. En la tarjeta Crear una evaluación, en Automático, elija Crear evaluación automática.

4. En la página Crear evaluación automática, proporcione la siguiente información

   1. Nombre de la evaluación: asigne al trabajo de evaluación de modelos un nombre que describa el trabajo. Este nombre se muestra en su lista de trabajos de evaluación de modelos. El nombre debe ser único en su nombre Cuenta de AWS en un Región de AWS.

   2. Descripción (opcional): proporcione una descripción opcional.

   3. Modelos: elija el modelo que desee utilizar en el trabajo de evaluación de modelos.

      Para obtener más información sobre los modelos disponibles y cómo acceder a ellos en Amazon Bedrock, consulteGestione el acceso a los modelos básicos de Amazon Bedrock.

   4. (Opcional) Para cambiar la configuración de inferencia, elija actualizar.

      Al cambiar la configuración de inferencia, se modifican las respuestas generadas por el modelo seleccionado. Para obtener más información sobre los parámetros de inferencia disponibles, consulte Parámetros de inferencia para modelos fundacionales.

   5. Tipo de tarea: elija el tipo de tarea que desea que el modelo intente realizar durante el trabajo de evaluación de modelos.

   6. Métricas y conjuntos de datos: la lista de métricas disponibles y los conjuntos de datos de peticiones integrados cambian en función de la tarea que seleccione. Puede elegir de la lista de Conjuntos de datos integrados disponibles o puede elegir Usar su propio conjunto de datos de peticiones. Si decide usar su propio conjunto de datos de solicitudes, introduzca el URI de S3 exacto del archivo de conjunto de datos de solicitudes almacenado o seleccione Examinar S3 para buscar su conjunto de datos de solicitudes.

   7. Resultados de la evaluación: especifique el URI de S3 del directorio en el que desea guardar los resultados del trabajo de evaluación del modelo. Elija Browse S3 para buscar una ubicación en Amazon S3.

   8. (Opcional) Para habilitar el uso de una clave administrada por el cliente, seleccione Personalizar la configuración de cifrado (avanzada). Luego, proporciona el ARN de la AWS KMS clave que deseas usar.

   9. Función de IAM de Amazon Bedrock: elija Usar una función existente para usar una función de servicio de IAM que ya tenga los permisos necesarios, o elija Crear una nueva función para crear una nueva función de servicio de IAM,

5. A continuación, elija Crear.

Una vez que su trabajo haya comenzado, el estado cambiará: «En curso». Una vez que el estado cambie: Completado, podrá ver la libreta de calificaciones del trabajo.

SDK for Python

Procedimiento

import boto3
							client = boto3.client('bedrock')

							job_request = client.create_evaluation_job(
							jobName="111122223333-job-01",
							jobDescription="two different task types",
							roleArn="arn:aws:iam::111122223333:role/example-human-eval-api-role",
							inferenceConfig={
							## You must specify an array of models
							"models": [
							{
							"bedrockModel": {
							"modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1",
							"inferenceParams":"{\"temperature\":\"0.0\", \"topP\":\"1\", \"maxTokenCount\":\"512\"}"
							}

							},
							{
							"bedrockModel": {
							"modelIdentifier": "anthropic.claude-v2",
							"inferenceParams": "{\"temperature\":\"0.25\",\"top_p\":\"0.25\",\"max_tokens_to_sample\":\"256\",\"top_k\":\"1\"}"
							}
							}
							]

							},
							outputDataConfig={
							"s3Uri":"s3://job-bucket/outputs/"
							},
							evaluationConfig={
							"human": {
							"humanWorkflowConfig": {
							"flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/example-workflow-arn",
							"instructions": "some human eval instruction"
							},
							"customMetrics": [
							{
							"name": "IndividualLikertScale",
							"description": "testing",
							"ratingMethod": "IndividualLikertScale"
							}
							],
							"datasetMetricConfigs": [
							{
							"taskType": "Summarization",
							"dataset": {
							"name": "Custom_Dataset1",
							"datasetLocation": {
							"s3Uri": "s3://job-bucket/custom-datasets/custom-trex.jsonl"
							}
							},
							"metricNames": [
							"IndividualLikertScale"
							]
							}
							]
							}

							}
							)

							print(job_request)

AWS CLI

En el AWS CLI, puede utilizar el help comando para ver qué parámetros son obligatorios y qué parámetros son opcionales al especificarlos add-something en el AWS CLI.

aws bedrock create-evaluation-job help

El siguiente es un ejemplo de solicitud que iniciará un trabajo de evaluación de un modelo basado en humanos utilizando el AWS CLI.

SOMETHINGGGGGGGG GOES HEREEEEEEEEEE