Crea una prueba de sombras

Puedes crear una prueba paralela para comparar el rendimiento de una variante oculta con el de una variante de producción. Puede ejecutar la prueba en un punto final existente que atienda solicitudes de inferencia o puede crear un nuevo punto final en el que ejecutar la prueba.

Para crear una prueba paralela, debe especificar lo siguiente:

• Una variante de producción que recibe y responde al 100 por ciento de las solicitudes de inferencia entrantes.

• Una variante oculta que recibe un porcentaje de las solicitudes entrantes, replicadas desde la variante de producción, pero que no devuelve ninguna respuesta.

Para cada variante, puedes utilizarla SageMaker para controlar el modelo, el tipo de instancia y el número de instancias. Puedes configurar el porcentaje de solicitudes entrantes, conocido como porcentaje de muestreo de tráfico, que deseas replicar en tu variante oculta. SageMaker gestiona la replicación de las solicitudes en tu variante oculta y puedes modificar el porcentaje de muestreo de tráfico cuando la prueba esté programada o en ejecución. Si lo desea, también puede activar la captura de datos para registrar las solicitudes y respuestas de sus variantes de producción y clandestinas.

nota

SageMaker admite un máximo de una variante de sombra por punto final. Para un punto final con una variante de sombra, puede haber un máximo de una variante de producción.

Puede programar la prueba para que comience en cualquier momento y continúe durante un tiempo específico. La duración predeterminada es de 7 días y la máxima de 30 días. Una vez finalizada la prueba, el punto final vuelve al estado en el que se encontraba antes de comenzar la prueba. Esto garantiza que no tenga que limpiar los recursos manualmente una vez finalizada la prueba.

Puede supervisar una prueba que se esté ejecutando a través de un panel de control de la SageMaker consola. El panel proporciona una comparación paralela de las métricas de invocación y las métricas de instancia entre las variantes de producción y sombra, junto con una vista tabular con las estadísticas de métricas relevantes. Este panel también está disponible para las pruebas completadas. Una vez que hayas revisado las métricas, puedes elegir entre promocionar la variante oculta para convertirla en la nueva variante de producción o conservar la variante de producción existente. Una vez que promocionas la variante oculta, esta responde a todas las solicitudes entrantes. Para obtener más información, consulte Promover una variante de sombra.

El siguiente procedimiento describe cómo crear una prueba oculta a través de la SageMaker consola. Existen variaciones en el flujo de trabajo en función de si desea utilizar un punto final existente o crear un punto final nuevo para la prueba paralela.

Requisitos previos

Antes de crear una prueba paralela con la SageMaker consola, debe tener un SageMaker modelo listo para su uso. Para obtener más información sobre cómo crear un SageMaker modelo, consulteImplemente modelos para inferencias en tiempo real.

Puede comenzar con las pruebas paralelas con un punto final existente con una variante de producción y una variante oculta, un punto final existente con solo una variante de producción o solo con los SageMaker modelos que desee comparar. Las pruebas ocultas permiten crear un punto final y añadir variantes antes de que comience la prueba.

nota

Determinadas características de los puntos finales pueden hacer que tu punto final sea incompatible con las pruebas ocultas. Si su dispositivo de punto final utiliza alguna de las siguientes funciones, no podrá utilizar pruebas paralelas en su dispositivo de punto final y, si solicita configurarlas, se producirán errores de validación.

• Inferencia sin servidor

• Inferencia asíncrona

• Contenedores de Marketplace

• Puntos de conexión con varios contenedores

• Puntos de conexión multimodelo

• Puntos de conexión que utilizan instancias Inf1 (basadas en inferencia)

• Puntos de conexión de Amazon Elastic Inference

Introduzca los detalles de la prueba oculta

Para empezar a crear tu prueba de sombras, rellena la página Introduce los detalles de la prueba de sombras haciendo lo siguiente:

1. Abra la consola de SageMaker .

2. En el panel de navegación izquierdo, selecciona Inferencia y, a continuación, selecciona Pruebas de sombra.

3. Seleccione Crear prueba de sombras.

4. En Nombre, introduzca un nombre para la prueba.

5. (Opcional) En Descripción, introduzca una descripción para la prueba.

6. (Opcional) Especifique las etiquetas mediante pares de clave y valor.

7. Elija Siguiente.

Introduzca la configuración de la prueba de sombras

Tras rellenar la página de detalles de introducción de la prueba de sombras, rellene la página de configuración de introducción de la prueba de sombras. Si ya tiene un punto final de SageMaker inferencia y una variante de producción, siga el flujo de trabajo Utilizar un punto final existente. Si aún no tiene un punto final, siga el flujo de trabajo Crear un nuevo punto final.

Use an existing endpoint

Si desea utilizar un punto final existente para la prueba, complete la página Introducir la configuración de la prueba paralela de la siguiente manera:

1. Elija un rol que tenga la política de AmazonSageMakerFullAccess IAM adjunta.

2. Elija Usar un punto final existente y, a continuación, elija uno de los puntos finales disponibles.

3. (Opcional) Para cifrar el volumen de almacenamiento de su terminal, elija una clave de KMS existente o seleccione Introducir un ARN de clave de KMS en la lista desplegable de Clave de cifrado. Si elige la segunda opción, aparecerá un campo para introducir el ARN de la clave KMS. Introduzca el ARN de la clave KMS en ese campo.

4. Si tiene varias variantes de producción detrás de ese punto final, elimine las que no desee usar para la prueba. Para eliminar una variante del modelo, selecciónela y, a continuación, elija Eliminar.

5. Si aún no tiene una variante de sombra, añada una variante de sombra. Para añadir una variante de sombra, haga lo siguiente:

   1. Elija Añadir.

   2. Elige la variante Sombra.

   3. En el cuadro de diálogo Añadir modelo, elija el modelo que desee utilizar para la variante de sombra.

   4. Seleccione Guardar.

6. (Opcional) En el paso anterior, se añade la variante de sombra con la configuración por defecto. Para modificar estos ajustes, seleccione la variante de sombra y elija Editar. Aparece el cuadro de diálogo Editar variante de sombra. Para obtener más información sobre cómo rellenar este cuadro de diálogo, consulteEditar una prueba de sombras.

7. En la sección Programación, introduzca la duración de la prueba de la siguiente manera:

   1. Seleccione la casilla situada debajo de Duración. Aparece un calendario emergente.

   2. Seleccione las fechas de inicio y finalización en el calendario o introduzca las fechas de inicio y finalización en los campos Fecha de inicio y Fecha de finalización, respectivamente.

   3. (Opcional) Para los campos Hora de inicio y Hora de finalización, introduzca las horas de inicio y finalización, respectivamente, en el formato de 24 horas.

   4. Seleccione Apply.

   La duración mínima es de 1 hora y la máxima de 30 días.

8. (Opcional) Active la opción Habilitar captura de datos para guardar la información de solicitudes y respuestas de inferencia de su punto de conexión en un bucket de Amazon S3 y, a continuación, introduzca la ubicación del bucket de Amazon S3.

9. Seleccione Crear prueba paralela.

Create a new endpoint

Si no tiene un punto final existente o si desea crear uno nuevo para su prueba, complete la página Introducir la prueba oculta de la siguiente manera:

1. Elija un rol que tenga la política de AmazonSageMakerFullAccess IAM adjunta.

2. Elija Crear un nuevo punto final.

3. En Nombre, introduzca un nombre para el punto final.

4. Añada una variante de producción y una variante oculta al punto final:

   • Para añadir una variante de producción, selecciona Añadir y, a continuación, selecciona Variante de producción. En el cuadro de diálogo Añadir modelo, elija el modelo que desee utilizar para la variante de producción y, a continuación, seleccione Guardar.

   • Para añadir una variante de sombra, selecciona Añadir y, a continuación, selecciona Variante de sombra. En el cuadro de diálogo Añadir modelo, elija el modelo que desee utilizar para la variante de sombra y, a continuación, seleccione Guardar.

5. (Opcional) En el paso anterior, se añade la variante de sombra con la configuración predeterminada. Para modificar estos ajustes, seleccione la variante de sombra y elija Editar. Aparece el cuadro de diálogo Editar variante de sombra. Para obtener más información sobre cómo rellenar este cuadro de diálogo, consulteEditar una prueba de sombras.

6. En la sección Programación, introduzca la duración de la prueba de la siguiente manera:

   1. Seleccione la casilla situada debajo de Duración. Aparece un calendario emergente.

   2. Seleccione las fechas de inicio y finalización en el calendario o introduzca las fechas de inicio y finalización en Fecha de inicio y Fecha de finalización, respectivamente.

   3. (Opcional) En Hora de inicio y Hora de finalización, introduzca las horas de inicio y finalización, respectivamente, en formato de 24 horas.

   4. Seleccione Apply.

   La duración mínima es de 1 hora y la máxima de 30 días.

7. (Opcional) Active la opción Habilitar captura de datos para guardar la información de solicitudes y respuestas de inferencia de su punto de conexión en un bucket de Amazon S3 y, a continuación, introduzca la ubicación del bucket de Amazon S3.

8. Seleccione Crear prueba paralela.

Tras completar los procedimientos anteriores, debería tener una prueba programada para que comience en la fecha y hora de inicio especificadas. Puede ver el progreso de la prueba desde un panel de control. Para obtener más información sobre cómo ver la prueba y las acciones que puede realizar, consulteVea, supervise y edite las pruebas de sombras.