Vea, supervise y edite las pruebas de sombras

Puede ver el estado de sus pruebas alternativas, supervisar su progreso desde un panel de control y realizar acciones, como iniciar o detener una prueba antes de tiempo o eliminarla. En las siguientes secciones, se muestra cómo ver y modificar las pruebas paralelas mediante la SageMaker consola.

Vea las pruebas de sombras

Puedes ver el estado de todas tus pruebas de sombras en la página de pruebas de sombras de la SageMaker consola.

Para ver tus pruebas en la consola, haz lo siguiente:

1. Abra la consola de SageMaker .

2. En el panel de navegación, elija Inferencia.

3. Seleccione Pruebas de sombra para ver la página en la que se muestran todas las pruebas de sombra. La página debería tener el aspecto de la siguiente captura de pantalla, con todas las pruebas enumeradas en la sección Pruebas de sombras.

   

Puedes ver el estado de una prueba en la consola en la página de pruebas ocultas marcando el campo Estado de la prueba.

Los estados posibles de una prueba son los siguientes:

• Creating— SageMaker está creando su prueba.

• Created— SageMaker ha terminado de crear su prueba y comenzará a la hora programada.

• Updating— Al realizar cambios en la prueba, la prueba se muestra como si se estuviera actualizando.

• Starting— SageMaker está empezando tu prueba.

• Running— Su prueba está en curso.

• Stopping— SageMaker está interrumpiendo su prueba.

• Completed— Su prueba se ha completado.

• Cancelled— Si terminas tu examen antes de tiempo, aparecerá como cancelado.

Supervisa una prueba oculta

Puede ver los detalles de una prueba de sombras y supervisarla mientras está en curso o una vez finalizada. SageMaker presenta un panel en vivo en el que se comparan las métricas operativas, como la latencia del modelo y la tasa de error agregada, de las variantes de producción y oculta.

Para ver los detalles de una prueba individual en la consola, haga lo siguiente:

1. Seleccione la prueba que desee supervisar en la sección de pruebas de sombra de la página de pruebas de sombra.

2. En la lista desplegable Acciones, seleccione Ver. Aparece una página de información general con los detalles de la prueba y un panel de métricas.

La página de información general incluye las tres secciones siguientes.

Resumen

En esta sección se resume el progreso y el estado de la prueba. También muestra las estadísticas resumidas de la métrica elegida en la lista desplegable Seleccionar métrica de la subsección Métricas. En la siguiente captura de pantalla se muestra esta sección.

En la captura de pantalla anterior, las pestañas Configuración y Detalles muestran los ajustes que ha seleccionado y los detalles que ha introducido al crear la prueba.

Análisis

En esta sección se muestra un panel de métricas con gráficos independientes para las siguientes métricas:

• Invocations

• InvocationsPerInstance

• ModelLatency

• Invocation4XXErrors

• Invocation5XXErrors

• InvocationModelErrors

• CPUUtilization

• MemoryUtilization

• DiskUtilization

Las tres últimas métricas supervisan el uso de los recursos en tiempo de ejecución del contenedor del modelo. El resto son CloudWatch métricas que puedes usar para analizar el rendimiento de tu variante. En general, un menor número de errores indica un modelo más estable. Una latencia más baja indica un modelo más rápido o una infraestructura más rápida. Para obtener más información sobre CloudWatch las métricas, consulteSageMaker métricas de invocación de puntos finales. En la siguiente captura de pantalla se muestra el panel de métricas.

Entorno

En esta sección se muestran las variantes que comparaste en la prueba. Si te satisface el rendimiento de la variante oculta, en función de las métricas antes mencionadas, puedes pasarla a producción si eliges la variante oculta Desplegar la variante oculta. Para obtener más información sobre cómo implementar una variante oculta, consultePromover una variante de sombra. También puede cambiar el porcentaje de muestreo de tráfico y continuar con las pruebas seleccionando Editar tráfico. Para obtener más información sobre la edición de una variante oculta, consulteEditar una prueba de sombras. En la siguiente captura de pantalla se muestra esta sección.

Comience pronto una prueba de sombra

Puede comenzar la prueba antes de la hora de inicio programada. Si la nueva duración de la prueba supera los 30 días, establece SageMaker automáticamente el final de la prueba 30 días después de la nueva hora de inicio. Esta acción inicia la prueba inmediatamente. Si desea cambiar la hora de inicio o finalización de la prueba, consulteEditar una prueba de sombras.

Para iniciar la prueba inmediatamente, antes de la hora de inicio programada, a través de la consola, haga lo siguiente:

1. Seleccione la prueba que desee iniciar inmediatamente en la sección de pruebas ocultas de la página de pruebas ocultas.

2. En la lista desplegable Acciones, selecciona Comenzar. ¿La prueba de sombra Start? Aparece el cuadro de diálogo.

3. Seleccione Empezar ahora.

Completar una prueba de sombra antes de tiempo

Puedes completar una prueba en curso antes de que finalice su duración programada. Para más información, consulte Completar una prueba de sombra antes de tiempo.

Elimina una prueba paralela

Puede eliminar una prueba que ya no necesite. Al eliminar la prueba, solo se eliminan los metadatos de la prueba y no el punto de enlace, las variantes o los datos capturados en Amazon S3. Si desea que su punto de enlace deje de funcionar, debe eliminarlo. Para obtener más información sobre la eliminación de un punto final, consulte Eliminar puntos de conexión y recursos

Para eliminar una prueba a través de la consola, haga lo siguiente:

1. Seleccione la prueba que desee eliminar en la sección de pruebas ocultas de la página Pruebas ocultas.

2. En la lista desplegable Acciones, selecciona Eliminar. Aparece el cuadro de diálogo Eliminar la prueba de sombras.

3. En el campo Para confirmar la eliminación, escriba eliminar. cuadro de texto, introduzcadelete.

4. Elija Eliminar.

Editar una prueba de sombras

Puede modificar tanto las pruebas programadas como las que están en curso. Antes de que comience la prueba, puedes cambiar la descripción, la configuración de la variante oculta, la fecha de inicio y la fecha de finalización de la prueba. También puedes activar o desactivar la captura de datos.

Una vez que comience la prueba, solo podrás cambiar la descripción, el porcentaje de muestreo de tráfico para la variante oculta y la fecha de finalización.

Para editar los detalles de la prueba a través de la consola, haga lo siguiente:

1. Selecciona la prueba que quieras editar en la sección de pruebas ocultas de la página de pruebas ocultas.

2. En la lista desplegable Acciones, selecciona Editar. Aparece la página Introducir detalles de la prueba oculta.

3. (Opcional) En Descripción, introduzca una descripción de la prueba.

4. Elija Siguiente. Aparece la página Introducir la configuración de la prueba oculta.

5. (Opcional) Para editar la variante de sombra, haz lo siguiente:

   1. Selecciona la variante de sombra y elige Editar. Aparece el cuadro de diálogo Editar variante de sombra. Si la prueba ya ha comenzado, solo puede cambiar el porcentaje de muestreo de tráfico.

   2. (Opcional) En Nombre, introduzca el nombre nuevo para reemplazar el nombre anterior.

   3. (Opcional) En Muestra de tráfico, introduzca el nuevo porcentaje de muestreo de tráfico para reemplazar el porcentaje de muestreo de tráfico anterior.

   4. (Opcional) En Tipo de instancia, seleccione el nuevo tipo de instancia en la lista desplegable.

   5. (Opcional) En Recuento de instancias, introduzca el nuevo recuento de instancias para reemplazar el recuento de instancias anterior.

   6. Seleccione Aplicar.

   No puedes cambiar el modelo en tu variante oculta mediante el procedimiento anterior. Si desea cambiar el modelo, elimine primero la variante de sombra seleccionándola y eligiendo Eliminar. A continuación, añada una nueva variante de sombra.

6. (Opcional) Para editar la duración de la prueba, haga lo siguiente:

   1. Seleccione la casilla situada debajo de Duración en la sección Programación. Aparece un calendario emergente.

   2. Si la prueba aún no ha comenzado, puede cambiar las fechas de inicio y finalización. Seleccione las nuevas fechas de inicio y finalización en el calendario o introduzca las nuevas fechas de inicio y finalización en Fecha de inicio y Fecha de finalización, respectivamente.

      Si la prueba ya ha comenzado, solo puede cambiar la fecha de finalización. Introduzca la nueva fecha de finalización en Fecha de finalización.

   3. (Opcional) Si la prueba aún no ha empezado, puedes cambiar la hora de inicio y la de finalización. Introduzca las nuevas horas de inicio y finalización en Hora de inicio y Hora de finalización, respectivamente, en el formato de 24 horas.

      Si la prueba ya ha comenzado, solo puede cambiar la hora de finalización. Introduzca la nueva hora de finalización en Hora de finalización, en el formato de 24 horas.

   4. Seleccione Aplicar.

7. (Opcional) Activa o desactiva la opción Habilitar la captura de datos.

8. Selecciona Actualizar prueba oculta.