Definición de las métricas de capacitación

SageMaker La IA analiza automáticamente los registros de los trabajos de formación y envía las métricas de formación a CloudWatch. De forma predeterminada, la SageMaker IA envía las métricas de utilización de los recursos del sistema que figuran en SageMaker AI Jobs y Endpoint Metrics. Si quieres que la SageMaker IA analice los registros y envíe métricas personalizadas de un trabajo de formación de tu propio algoritmo CloudWatch, tendrás que especificar las definiciones de las métricas pasando el nombre de las métricas y las expresiones regulares al configurar una solicitud de trabajo de formación de SageMaker IA.

Puede especificar las métricas de las que desea realizar un seguimiento mediante la consola de SageMaker IA, el SDK de Python para SageMaker IA o la API de SageMaker IA de bajo nivel.

Si utiliza su propio algoritmo, haga lo siguiente:

• Asegúrese de que el algoritmo escribe en los registros las métricas que desea capturar.

• Defina una expresión regular que busque de forma precisa en los registros para capturar los valores de las métricas a las que desea enviar CloudWatch.

Por ejemplo, suponga que su algoritmo emite métricas para errores de entrenamiento y errores de validación:

Train_error=0.138318;  Valid_error=0.324557;

Si quieres monitorizar ambas métricas CloudWatch, el diccionario de las definiciones de métricas debería tener un aspecto similar al del siguiente ejemplo:

[
    {
        "Name": "train:error",
        "Regex": "Train_error=(.*?);"
    },
    {
        "Name": "validation:error",
        "Regex": "Valid_error=(.*?);"
    }    
]

En la expresión regular para la métrica train:error definida anteriormente, la primera parte de la expresión regular encuentra el texto exacto "Train_error =", y la expresión (.*?); captura cualquier carácter hasta que aparece el primer carácter de punto y coma. En esta expresión, el paréntesis indica a la expresión regular que debe capturar lo que está dentro de ellos, . significa cualquier carácter, * significa cero o más caracteres y ? significa realizar la captura solo hasta la primera instancia del carácter ;.

Defina métricas con el SDK de Python para SageMaker IA

Defina las métricas a las que desea realizar el envío CloudWatch especificando una lista de nombres de métricas y expresiones regulares como metric_definitions argumento al inicializar un Estimator objeto. Por ejemplo, si quieres monitorizar tanto las validation:error métricas como train:error las incluidas CloudWatch, tu Estimator inicialización tendría el siguiente aspecto:

import sagemaker
from sagemaker.estimator import Estimator

estimator = Estimator(
    image_uri="your-own-image-uri",
    role=sagemaker.get_execution_role(), 
    sagemaker_session=sagemaker.Session(),
    instance_count=1,
    instance_type='ml.c4.xlarge',
    metric_definitions=[
       {'Name': 'train:error', 'Regex': 'Train_error=(.*?);'},
       {'Name': 'validation:error', 'Regex': 'Valid_error=(.*?);'}
    ]
)

Para obtener más información sobre el entrenamiento con estimadores del SDK de Amazon SageMaker Python, consulte Sagemaker Python SDK en. GitHub

Defina las métricas mediante la consola de IA SageMaker

Si eliges la opción Tu propio contenedor de algoritmos en ECR como fuente de algoritmos en la consola de SageMaker IA al crear un trabajo de formación, añade las definiciones de métricas en la sección Métricas. La siguiente captura de pantalla muestra cómo debería quedar después de añadir los nombres de las métricas de ejemplo y las expresiones regulares correspondientes.

Defina las métricas mediante la API de IA de bajo nivel SageMaker

Defina las métricas a las que quiere enviar datos CloudWatch especificando una lista de nombres de métricas y expresiones regulares en el MetricDefinitions campo del parámetro de AlgorithmSpecificationentrada que transfiere a la CreateTrainingJoboperación. Por ejemplo, si desea supervisar tanto train:error las validation:error métricas como las AlgorithmSpecification que contiene CloudWatch, tendría el siguiente ejemplo:

"AlgorithmSpecification": {
    "TrainingImage": your-own-image-uri,
    "TrainingInputMode": "File",
    "MetricDefinitions" : [
        {
            "Name": "train:error",
            "Regex": "Train_error=(.*?);"
        },
        {
            "Name": "validation:error",
            "Regex": "Valid_error=(.*?);"
        }
    ]
}

Para obtener más información sobre cómo definir y ejecutar un trabajo de formación mediante la API de SageMaker IA de bajo nivel, consulte CreateTrainingJob.