Preguntas frecuentes sobre experimentos

Consulte las siguientes preguntas frecuentes para obtener respuestas a las preguntas más frecuentes sobre SageMaker los experimentos.

P: ¿Cuál es el método recomendado para crear un experimento?

R: Los experimentos son un conjunto de ejecuciones destinadas a encontrar el mejor modelo para resolver un problema. Para inicializar una ejecución dentro de un experimento, usa la Run clase SDK de SageMaker Python. Para obtener más ejemplos, consulte Crea un SageMaker experimento de Amazon.

P: ¿Puedo crear un experimento en modo SageMaker script?

Sí. Puede crear experimentos mediante el modo SageMaker guion. En el cuaderno de Jupyter o en el archivo Python que esté usando para definir su estimador, inicialice una ejecución con la clase Run. Dentro de la ejecución, lance un estimador con su script de punto de entrada personalizado. Dentro de ese script de punto de entrada, utilice el método load_run para inicializar la ejecución que definió en el script de punto de entrada y registre sus métricas. Para ver ejemplos detallados, consulte Realice un seguimiento de los experimentos para los trabajos SageMaker de formación mediante el modo script.

P: ¿Qué SageMaker trabajos crean experimentos automáticamente?

SageMaker Los trabajos de optimización de hiperparámetros (HPO) (también conocidos como trabajos de ajuste) crean automáticamente experimentos para realizar un seguimiento de todos los trabajos de formación iniciados durante una búsqueda de hiperparámetros. Todos los demás SageMaker trabajos crean ejecuciones no asignadas, a menos que se inicien desde un experimento.

P: ¿Para qué tipo de SageMaker trabajos puedo crear un experimento?

Puedes usar SageMaker los experimentos para realizar un seguimiento de las métricas de los trabajos de formación, los trabajos de procesamiento y los trabajos de transformación.

P: ¿Por qué veo experimentos y ejecuciones en la interfaz de usuario clásica de Experiments Studio que no he creado con el SDK de SageMaker Python?

De forma predeterminada, las ejecuciones de experimentos que se crean automáticamente mediante SageMaker trabajos y contenedores están visibles en la interfaz de usuario clásica de Experiments Studio. Para ocultar las carreras creadas por los SageMaker trabajos de un experimento determinado, selecciona el icono de configuración ( ) y activa la opción Mostrar trabajos.

P: ¿Sigue siendo compatible el SDK de SageMaker experimentos?

Sí, el SDK de SageMaker Experiments sigue siendo compatible. Sin embargo, a partir de la versión 2.123.0, SageMaker Experiments está completamente integrado con el SDK de Python SageMaker . Recomendamos usar el SDK de SageMaker Python para crear experimentos y ejecuciones. Para obtener más información, consulte Crea un SageMaker experimento de Amazon.

P: ¿Puedo usar el entrenamiento distribuido con mis experimentos?

R: Sí. Sin embargo, las métricas de entrenamiento distribuida solo se pueden registrar a nivel de época. Asegúrese de registrar solo métricas generadas por el nodo líder, tal y como se muestra en el siguiente ejemplo:

...
if rank == 0:
         test_loss, correct, target, pred = test(model, test_loader, device, tracker)
         logger.info(
             "Test Average loss: {:.4f}, Test Accuracy: {:.0f}%;\n".format(
                 test_loss, test_accuracy)
             )
         )
         run.log_metric(name = "train_loss", value = loss.item(), step = epoch)
         run.log_metric(name = "test_loss", value = test_loss, step = epoch)
         run.log_metric(name = "test_accuracy", value = test_accuracy, step = epoch)
         ...

Para obtener más información, consulte el cuaderno de ejemplo Ejecute un SageMaker experimento con Pytorch Distributed Data Parallel: MNIST Handwritten Digits Classification.

P: ¿Qué son las ejecuciones no asignadas?

R: Todos los trabajos de SageMaker (trabajos de formación, trabajos de procesamiento, trabajos de transformación) corresponden a ejecuciones. Al lanzar estos trabajos, TrialComponents se crean de forma predeterminada. TrialComponents se asignan directamente a las ejecuciones. Si estos trabajos se lanzan sin estar asociados explícitamente a un experimento o una ejecución, se crean como ejecuciones no asignadas.

P: ¿Debo pasar el contexto de la ejecución del experimento al guion de entrenamiento al ejecutar un trabajo de SageMaker entrenamiento?

R: Sí. Debe cargar el contexto de ejecución en el guion de entrenamiento, junto con la información de la SageMaker sesión.

from sagemaker.session import Session
from sagemaker.experiments.run import load_run

session = Session(boto3.session.Session(region_name=args.region))

with load_run(sagemaker_session=session) as run:
    run.log_parameters(
        {"num_train_samples": len(train_set.data), "num_test_samples": len(test_set.data)}
    )

P: ¿Cómo puedo agregar una nueva ejecución a un análisis de experimento?

R: Si ya ha creado una comparación para su experimento y desea añadir una nueva ejecución para analizarla, seleccione todas las ejecuciones del análisis anterior, así como la nueva ejecución, y elija Analizar. Si no ve la nueva ejecución en la página de análisis resultante, actualice el navegador Studio Classic. Tenga en cuenta que actualizar el navegador de Studio Classic puede afectar al resto de pestañas abiertas.