Analice los resultados de un trabajo de personalización de modelos

Una vez finalizado un trabajo de personalización del modelo, puede analizar los resultados del proceso de formación consultando los archivos de la carpeta S3 de salida que especificó al enviar el trabajo o ver los detalles del modelo. Amazon Bedrock almacena sus modelos personalizados en un almacenamiento AWS gestionado limitado a su cuenta.

También puede evaluar su modelo realizando un trabajo de evaluación del modelo. Para obtener más información, consulte Evaluación de modelos.

La salida de S3 de un trabajo de personalización de modelos contiene los siguientes archivos de salida en la carpeta S3. Los artefactos de validación solo aparecen si ha incluido un conjunto de datos de validación.

- model-customization-job-training-job-id/
    - training_artifacts/
        - step_wise_training_metrics.csv
    - validation_artifacts/
        - post_fine_tuning_validation/
            - validation_metrics.csv

Utilice los archivos step_wise_training_metrics.csv y validation_metrics.csv para analizar el trabajo de personalización del modelo y ayudarle a ajustar el modelo según sea necesario.

Las columnas del step_wise_training_metrics.csv archivo son las siguientes.

• step_number: el paso del proceso de formación. Empieza desde 0.

• epoch_number: la época del proceso de formación.

• training_loss: indica qué tan bien se ajusta el modelo a los datos de entrenamiento. Un valor más bajo indica un mejor ajuste.

• perplejidad: indica qué tan bien el modelo puede predecir una secuencia de fichas. Un valor más bajo indica una mejor capacidad de predicción.

Las columnas del validation_metrics.csv archivo son las mismas que las del archivo de entrenamiento, con la salvedad de que validation_loss (qué tan bien se ajusta el modelo a los datos de validación) aparece en lugar de ellastraining_loss.

Para encontrar los archivos de salida, abra directamente el https://console.aws.amazon.com/s3 o busque el enlace a la carpeta de resultados en los detalles del modelo. Seleccione la pestaña correspondiente al método que prefiera y siga los pasos.

Console

1. Inicie sesión en el AWS Management Console uso de un IAMrol con los permisos de Amazon Bedrock y abra la consola de Amazon Bedrock en. https://console.aws.amazon.com/bedrock/

2. En el panel de navegación izquierdo, selecciona Modelos personalizados en Modelos básicos.

3. En la pestaña Modelos, seleccione un modelo para ver sus detalles. El nombre del trabajo se encuentra en la sección Detalles del modelo.

4. Para ver los archivos S3 de salida, seleccione la ubicación S3 en la sección de datos de salida.

5. Busque los archivos de métricas de entrenamiento y validación en la carpeta cuyo nombre coincida con el nombre del Job del modelo.

API

Para incluir información sobre todos sus modelos personalizados, envíe una solicitud ListCustomModels(consulte el enlace para ver los formatos de solicitud y respuesta y los detalles de los campos) a un punto final del plano de control de Amazon Bedrock. Consulte ListCustomModelslos filtros que puede utilizar.

Para enumerar todas las etiquetas de un modelo personalizado, envíe una ListTagsForResourcesolicitud (consulte el enlace para ver los formatos de solicitud y respuesta y los detalles de los campos) a un punto final del plano de control de Amazon Bedrock e incluya el nombre del recurso de Amazon (ARN) del modelo personalizado.

Para supervisar el estado de un trabajo de personalización de modelos, envíe una solicitud GetCustomModel(consulte el enlace para ver los formatos de solicitud y respuesta y los detalles de los campos) a un punto final del modelIdentifier plano de control de Amazon Bedrock con una de las siguientes opciones.

• El nombre que le dio al modelo.

• El ARN del modelo.

Puede ver trainingMetrics y validationMetrics para un trabajo de personalización del modelo en la GetCustomModelrespuesta GetModelCustomizationJobo.

Para descargar los archivos de métricas de entrenamiento y validación, siga los pasos que se indican en Descargar objetos. Utilice el S3 URI que proporcionó en eloutputDataConfig.

Consulte los ejemplos de código