Itérations du volant

Utilisez les itérations du volant pour créer et gérer de nouvelles versions de modèles.

Flux de travail d'itération

Un volant démarre avec une version de modèle entraînée ou utilise un ensemble de données initial pour entraîner une version de modèle.

Au fil du temps, à mesure que vous obtenez de nouvelles données étiquetées, vous entraînez de nouvelles versions de modèles afin d'améliorer les performances de votre modèle de volant. Lorsque vous lancez le volant, il crée une nouvelle itération qui entraîne et évalue une nouvelle version du modèle. Vous pouvez promouvoir la nouvelle version du modèle si ses performances sont supérieures à celles de la version active existante.

Le flux de travail d'itération du volant comprend les étapes suivantes :

1. Vous créez des ensembles de données pour les nouvelles données étiquetées.

2. Vous lancez le volant pour créer une nouvelle itération. L'itération suit les étapes suivantes pour entraîner et évaluer une nouvelle version du modèle :

   1. Évalue la version active du modèle à l'aide des nouvelles données.

   2. Entraîne une nouvelle version du modèle en utilisant les nouvelles données.

   3. Stocke les résultats de l'évaluation et de la formation dans le lac de données.

   4. Renvoie les scores F1 pour les deux modèles.

3. Une fois l'itération terminée, vous pouvez comparer les scores F1 du modèle actif existant et du nouveau modèle.

4. Si la nouvelle version du modèle présente des performances supérieures, vous la promouvez en tant que version active du modèle. Vous pouvez utiliser la console ou l'API pour promouvoir la nouvelle version du modèle.

Gestion des itérations (console)

Vous pouvez utiliser la console pour démarrer une nouvelle itération et demander le statut d'une itération en cours. Vous pouvez également consulter les résultats des itérations terminées.

Lancer une itération sur le volant (console)

Avant de commencer une nouvelle itération, créez un ou plusieurs nouveaux ensembles de données d'entraînement ou de test. Consultez Configuration des ensembles de données.

Lancer une itération sur le volant (console)

1. Connectez-vous à la console Amazon Comprehend AWS Management Console et ouvrez-la.

2. Dans le menu de gauche, choisissez Flywheels.

3. Dans le tableau Flywheels, choisissez un volant.

4. Choisissez Run flywheel.

Analyser les résultats des itérations (console)

Après avoir exécuté l'itération du volant, la console affiche les résultats dans le tableau des itérations des volants.

Promouvoir la nouvelle version du modèle (console)

Sur la page des détails du modèle de la console, vous pouvez promouvoir une nouvelle version du modèle en tant que version active du modèle.

Promouvoir une version de modèle de volant en version de modèle active (console)

1. Connectez-vous à la console Amazon Comprehend AWS Management Console et ouvrez-la.

2. Dans le menu de gauche, choisissez Flywheels.

3. Dans le tableau Flywheels, choisissez un volant.

4. Dans le tableau de la page de détails du Flywheel, choisissez la version à promouvoir dans le tableau des itérations de Flywheels.

5. Choisissez Rendre le modèle actif.

Gestion des itérations (API)

Vous pouvez utiliser l'API Amazon Comprehend pour démarrer une nouvelle itération et demander le statut d'une itération en cours. Vous pouvez également consulter les résultats des itérations terminées.

Lancer l'itération du volant (API)

Utilisez l'StartFlywheelIterationopération Amazon Comprehend pour démarrer une itération en volant.

aws comprehend start-flywheel-iteration \
    --flywheel-arn  "flywheelArn"   

La réponse contient le contenu suivant.

{
  "FlywheelIterationArn": "arn:aws::comprehend:aws-region:111122223333:flywheel/name"
}     

Promouvoir la nouvelle version du modèle (API)

Utilisez cette UpdateFlywheelopération pour promouvoir une version de modèle en tant que version de modèle active.

Envoyez la UpdateFlywheel demande avec le ActiveModelArn paramètre défini à l'ARN de la nouvelle version du modèle actif.

aws comprehend update-flywheel \
    --active-model-arn  "modelArn" \ 

La réponse contient le contenu suivant.

{
  "FlywheelArn": "arn:aws::comprehend:aws-region:111122223333:flywheel/name",
  "ActiveModelArn": "modelArn"
}     

Décrire les résultats de l'itération du volant (API)

L'DescribeFlywheelIterationopération Amazon Comprehend renvoie des informations sur une itération une fois celle-ci terminée.

aws comprehend describe-flywheel-iteration \
	--flywheel-arn "flywheelArn" \
	--flywheel-iteration-id  "flywheelIterationId" \
	--region aws-region 

La réponse contient le contenu suivant.

{
    "FlywheelIterationProperties": {
        "FlywheelArn": "flywheelArn",
        "FlywheelIterationId": "iterationId",
        "CreationTime": <createdAt>,
        "EndTime": <endedAt>,
        "Status": <status>,
        "Message": <message>,
        "EvaluatedModelArn": "modelArn",
        "EvaluatedModelMetrics": {
            "AverageF1Score": <value>,
            "AveragePrecision": <value>,
            "AverageRecall": <value>,
            "AverageAccuracy": <value>
        },
        "TrainedModelArn": "modelArn",
        "TrainedModelMetrics": {
            "AverageF1Score": <value>,
            "AveragePrecision": <value>,
            "AverageRecall": <value>,
            "AverageAccuracy": <value>
        }
    }
}

Obtenir l'historique des itérations (API)

Utilisez cette ListFlywheelIterationHistoryopération pour obtenir des informations sur l'historique des itérations.

aws comprehend list-flywheel-iteration-history \
	--flywheel-arn "flywheelArn"

La réponse contient le contenu suivant.

{
    "FlywheelIterationPropertiesList": [
        {
            "FlywheelArn": "<flywheelArn>",
            "FlywheelIterationId": "20220907T214613Z",
            "CreationTime": 1662587173.224,
            "EndTime": 1662592043.02,
            "Status": "<status>",
            "Message": "<message>",
            "EvaluatedModelArn": "modelArn",
            "EvaluatedModelMetrics": {
                "AverageF1Score": 0.8333333333333333,
                "AveragePrecision": 0.75,
                "AverageRecall": 0.9375,
                "AverageAccuracy": 0.8125
            },
            "TrainedModelArn": "modelArn",
            "TrainedModelMetrics": {
                "AverageF1Score": 0.865497076023392,
                "AveragePrecision": 0.7636363636363637,
                "AverageRecall": 1.0,
                "AverageAccuracy": 0.84375
            }
        }
    ]
}