Evalúe sus trabajos de entrenamiento personalizados

Una receta de evaluación es un archivo de configuración YAML que define cómo se ejecuta el trabajo de evaluación de modelos de Amazon Nova. Con esta receta, puede evaluar el rendimiento de un modelo básico o entrenado mediante su comparación con puntos de referencia comunes o con sus propios conjuntos de datos personalizados. Las métricas se pueden almacenar en Amazon S3 o en TensorBoard. La evaluación proporciona métricas cuantitativas que le ayudan a evaluar el rendimiento del modelo en diversas tareas para determinar si es necesaria una mayor personalización.

La evaluación de los modelos es un proceso fuera de línea, en el que estos se prueban comparándolos con puntos de referencia fijos con respuestas predefinidas. No se evalúan en tiempo real ni en función de las interacciones de los usuarios en directo. Para evaluaciones en tiempo real, puede evaluar el modelo después de implementarlo en Amazon Bedrock llamando a las API de tiempo de ejecución de Amazon Bedrock.

Para obtener instrucciones detalladas sobre cómo realizar la evaluación de sus modelos entrenados de Amazon Nova, consulte la sección Evaluación de su modelo entrenado en la guía del usuario de SageMaker.