Iteraciones del volante de inercia

Use las iteraciones de volante como una ayuda para la creación y la gestión de las nuevas versiones de modelos.

Flujo de trabajo de iteración

Un volante de inercia comienza con una versión de modelo entrenada o usa un conjunto de datos inicial para entrenar una versión del modelo.

Con el tiempo, a medida que se van obteniendo nuevos datos etiquetados, se van entrenando nuevas versiones del modelo para mejorar el rendimiento del modelo del volante de inercia. Cuando ejecute el volante de inercia, se creará una nueva iteración que entrena y evalúa una nueva versión del modelo. Puede promocionar la nueva versión del modelo si su rendimiento es superior al de la versión activa existente de ese modelo.

El flujo de trabajo de iteración del volante incluye los siguientes pasos:

1. Cree conjuntos de datos para los nuevos datos etiquetados.

2. Ejecute el volante para crear una nueva iteración. La iteración sigue estos pasos para entrenar y evaluar una nueva versión del modelo:

   1. Evalúa la versión activa del modelo usando los nuevos datos.

   2. Entrena una nueva versión del modelo usando los nuevos datos.

   3. Almacena los resultados de la evaluación y del entrenamiento en el lago de datos.

   4. Devuelve las puntuaciones de F1 para ambos modelos.

3. Una vez completada la iteración, podrá comparar las puntuaciones de F1 del modelo activo existente y del nuevo modelo.

4. Si la nueva versión del modelo tiene un rendimiento superior, puede promocionarla para que sea la versión activa de ese modelo. Puede utilizar la consola o la API para promocionar la nueva versión del modelo.

Administración de iteraciones (consola)

Puede utilizar la consola para iniciar una nueva iteración y consultar el estado de una iteración en curso. También puede ver los resultados de las iteraciones completadas.

Inicie una iteración de volante (consola)

Antes de poder iniciar una nueva iteración, cree uno o más conjuntos de datos nuevos de entrenamiento o prueba. Consulte Configuración de los conjuntos de datos

Inicie una iteración de volante (consola)

1. Inicie sesión en la AWS Management Console y abra la consola de Amazon Comprehend.

2. En el menú de la izquierda, seleccione Volantes.

3. En la tabla Volantes, seleccione un volante.

4. Seleccione Ejecutar volante.

Analice los resultados de la iteración (consola)

Tras ejecutar la iteración del volante, la consola mostrará los resultados en la tabla de iteraciones del volante.

Promocione una nueva versión del modelo (consola)

Desde la página de detalles del modelo de la consola, puede promocionar una nueva versión del modelo para convertirla en la versión activa del modelo.

Convierta una versión de modelo del volante de inercia en una versión de modelo activa (consola)

1. Inicie sesión en la AWS Management Console y abra la consola de Amazon Comprehend.

2. En el menú de la izquierda, seleccione Volantes.

3. En la tabla Volantes, seleccione un volante.

4. En la tabla de la página de detalles de volantes de inercia, seleccione la versión que desee promocionar en la tabla de iteraciones de Volantes.

5. Seleccione Crear modelo activo.

Gestión de iteraciones (API)

Puede utilizar la API de Amazon Comprehend para iniciar una nueva iteración y consultar el estado de una iteración en curso. También puede ver los resultados de las iteraciones completadas.

Inicie la iteración del volante (API)

Utilice la StartFlywheelIterationoperación Amazon Comprehend para iniciar una iteración del volante.

aws comprehend start-flywheel-iteration \
    --flywheel-arn  "flywheelArn"   

La respuesta contiene el siguiente contenido.

{
  "FlywheelIterationArn": "arn:aws::comprehend:aws-region:111122223333:flywheel/name"
}     

Promocione una nueva versión del modelo (API)

Utilice la UpdateFlywheeloperación para convertir una versión del modelo en la versión activa del modelo.

Envíe la solicitud de UpdateFlywheel con el parámetro ActiveModelArn configurado con el ARN de la nueva versión activa del modelo.

aws comprehend update-flywheel \
    --active-model-arn  "modelArn" \ 

La respuesta contiene el siguiente contenido.

{
  "FlywheelArn": "arn:aws::comprehend:aws-region:111122223333:flywheel/name",
  "ActiveModelArn": "modelArn"
}     

Describa los resultados de la iteración del volante (API)

La DescribeFlywheelIterationoperación Amazon Comprehend devuelve información sobre una iteración una vez finalizada.

aws comprehend describe-flywheel-iteration \
	--flywheel-arn "flywheelArn" \
	--flywheel-iteration-id  "flywheelIterationId" \
	--region aws-region 

La respuesta contiene el siguiente contenido.

{
    "FlywheelIterationProperties": {
        "FlywheelArn": "flywheelArn",
        "FlywheelIterationId": "iterationId",
        "CreationTime": <createdAt>,
        "EndTime": <endedAt>,
        "Status": <status>,
        "Message": <message>,
        "EvaluatedModelArn": "modelArn",
        "EvaluatedModelMetrics": {
            "AverageF1Score": <value>,
            "AveragePrecision": <value>,
            "AverageRecall": <value>,
            "AverageAccuracy": <value>
        },
        "TrainedModelArn": "modelArn",
        "TrainedModelMetrics": {
            "AverageF1Score": <value>,
            "AveragePrecision": <value>,
            "AverageRecall": <value>,
            "AverageAccuracy": <value>
        }
    }
}

Obtención del historial de iteraciones (API)

Utilice la ListFlywheelIterationHistoryoperación para obtener información sobre el historial de iteraciones.

aws comprehend list-flywheel-iteration-history \
	--flywheel-arn "flywheelArn"

La respuesta contiene el siguiente contenido.

{
    "FlywheelIterationPropertiesList": [
        {
            "FlywheelArn": "<flywheelArn>",
            "FlywheelIterationId": "20220907T214613Z",
            "CreationTime": 1662587173.224,
            "EndTime": 1662592043.02,
            "Status": "<status>",
            "Message": "<message>",
            "EvaluatedModelArn": "modelArn",
            "EvaluatedModelMetrics": {
                "AverageF1Score": 0.8333333333333333,
                "AveragePrecision": 0.75,
                "AverageRecall": 0.9375,
                "AverageAccuracy": 0.8125
            },
            "TrainedModelArn": "modelArn",
            "TrainedModelMetrics": {
                "AverageF1Score": 0.865497076023392,
                "AveragePrecision": 0.7636363636363637,
                "AverageRecall": 1.0,
                "AverageAccuracy": 0.84375
            }
        }
    ]
}