Inicio de un trabajo de evaluación automática de modelos en Amazon Bedrock

Puede crear un trabajo de evaluación automática de modelos mediante el AWS Management Console AWS CLI, o un AWS SDK compatible. En un trabajo de evaluación automática de modelos, el modelo que seleccione realiza la inferencia utilizando las indicaciones de un conjunto de datos integrado compatible o su propio conjunto de datos de solicitudes personalizado. Cada trabajo también requiere que selecciones un tipo de tarea. El tipo de tarea le proporciona algunas métricas recomendadas y conjuntos de datos de solicitudes integrados. Para obtener más información sobre los tipos de tareas y las métricas disponibles, consulteTipos de tareas de evaluación del modelo en Amazon Bedrock.

Los siguientes ejemplos muestran cómo crear un trabajo de evaluación automática de modelos mediante la consola Amazon Bedrock AWS CLI, el SDK para Python.

Todos los trabajos automáticos de evaluación del modelo requieren la creación de un rol de servicio de IAM. Para obtener más información acerca de los requisitos de IAM para configurar un trabajo de evaluación del modelo, consulte Requisitos de rol de servicio para los trabajos de evaluación de modelos.

Los siguientes ejemplos muestran cómo crear un trabajo automático de evaluación del modelo. En la API, también puede incluir un perfil de inferencia en el trabajo especificando su ARN en el campo modelIdentifier.

Amazon Bedrock console

Utilice el siguiente procedimiento para crear un trabajo de evaluación del modelo en la consola de Amazon Bedrock. Para completar este procedimiento correctamente, asegúrese de que el usuario, grupo o rol de IAM tiene los permisos necesarios para acceder a la consola. Para obtener más información, consulte Permisos de la consola necesarios para crear un trabajo automático de evaluación del modelo.

Además, cualquier conjunto de datos de peticiones personalizado que desee especificar en el trabajo de evaluación del modelo debe incluir los permisos de CORS necesarios en el bucket de Amazon S3. Para obtener más información sobre los permisos de CORS necesarios, consulte Permisos de intercambio de recursos entre orígenes (CORS) necesarios en los buckets de S3.

Creación de un trabajo automático de evaluación del modelo

1. Abre la consola Amazon Bedrock: https://console.aws.amazon.com/bedrock/

2. En el panel de navegación, elija Evaluación de modelo.

3. En la tarjeta Crear una evaluación, en Automático, elija Crear evaluación automática.

4. En la página Crear evaluación automática, proporcione la siguiente información

   1. Nombre de la evaluación: asigne al trabajo de evaluación de modelos un nombre que describa el trabajo. Este nombre se muestra en su lista de trabajos de evaluación de modelos. El nombre debe ser único en su cuenta en una Región de AWS.

   2. Descripción (opcional): proporcione una descripción opcional.

   3. Modelos: elija el modelo que desee utilizar en el trabajo de evaluación de modelos.

      Para obtener más información sobre los modelos disponibles y cómo acceder a ellos en Amazon Bedrock, consulte Acceso a los modelos fundacionales de Amazon Bedrock.

   4. (Opcional) Para cambiar la configuración de inferencia, elija actualizar.

      Al cambiar la configuración de inferencia, se cambian las respuestas generadas por los modelos seleccionados. Para obtener más información sobre los parámetros de inferencia disponibles, consulte Parámetros de solicitud de inferencia y campos de respuesta para los modelos fundacionales.

   5. Tipo de tarea: elija el tipo de tarea que desea que el modelo intente realizar durante el trabajo de evaluación de modelos.

   6. Métricas y conjuntos de datos: la lista de métricas disponibles y los conjuntos de datos de peticiones integrados cambian en función de la tarea que seleccione. Puede elegir de la lista de Conjuntos de datos integrados disponibles o puede elegir Usar su propio conjunto de datos de peticiones. Si decide utilizar su propio conjunto de datos de peticiones, introduzca el URI de S3 exacto de su archivo de conjunto de peticiones o seleccione Explorar S3 para buscar el conjunto de datos de peticiones.

   7. Resultados de la evaluación: especifique el URI de S3 del directorio en el que desee guardar los resultados. Elija Explorar S3 para buscar una ubicación en Amazon S3.

   8. (Opcional) Para habilitar el uso de una clave administrada por el cliente, seleccione Personalizar configuración de cifrado (avanzada). A continuación, introduzca el ARN de la clave de AWS KMS que desee utilizar.

   9. Rol de IAM de Amazon Bedrock: elija Utilizar un rol existente para usar el rol de servicio de IAM que ya tenga los permisos necesarios o elija Crear un nuevo rol para crear un nuevo rol de servicio de IAM.

5. A continuación, elija Crear.

Cuando el estado cambie a Completado, podrá ver la tarjeta del informe del trabajo.

SDK for Python

El siguiente ejemplo crea un trabajo de evaluación automática mediante Python.

import boto3
client = boto3.client('bedrock')

job_request = client.create_evaluation_job(
    jobName="api-auto-job-titan",
    jobDescription="two different task types",
    roleArn="arn:aws:iam::111122223333:role/role-name",
    inferenceConfig={
        "models": [
            {
                "bedrockModel": {
                    "modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1",
                    "inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}"
                }

            }
        ]

    },
    outputDataConfig={
        "s3Uri":"s3://amzn-s3-demo-bucket-model-evaluations/outputs/"
    },
    evaluationConfig={
        "automated": {
            "datasetMetricConfigs": [
                {
                    "taskType": "QuestionAndAnswer",
                    "dataset": {
                        "name": "Builtin.BoolQ"
                    },
                    "metricNames": [
                        "Builtin.Accuracy",
                        "Builtin.Robustness"
                    ]
                }
            ]
        }
    }
)

print(job_request)

AWS CLI

En el AWS CLI, puede utilizar el help comando para ver qué parámetros son necesarios y qué parámetros son opcionales al especificarlos create-evaluation-job en el AWS CLI.

aws bedrock create-evaluation-job help

aws bedrock create-evaluation-job \
--job-name 'automatic-eval-job-cli-001' \
--role-arn 'arn:aws:iam::111122223333:role/role-name' \
--evaluation-config '{"automated": {"datasetMetricConfigs": [{"taskType": "QuestionAndAnswer","dataset": {"name": "Builtin.BoolQ"},"metricNames": ["Builtin.Accuracy","Builtin.Robustness"]}]}}' \
--inference-config '{"models": [{"bedrockModel": {"modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1","inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}"}}]}' \
--output-data-config '{"s3Uri":"s3://automatic-eval-jobs/outputs"}'