Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Verwenden Sie Flywheel-Iterationen, um neue Modellversionen zu erstellen und zu verwalten.
Iterations-Workflow
Ein Flywheel beginnt mit einer trainierten Modellversion oder verwendet einen anfänglichen Datensatz, um eine Modellversion zu trainieren.
Wenn Sie neue beschriftete Daten erhalten, trainieren Sie im Laufe der Zeit neue Modellversionen, um die Leistung Ihres Flywheel-Modells zu verbessern. Wenn Sie das Flywheel ausführen, wird eine neue Iteration erstellt, die eine neue Modellversion trainiert und auswertet. Sie können die neue Modellversion hochstufen, wenn ihre Leistung der vorhandenen aktiven Modellversion überlegen ist.
Der Workflow zur Flywheel-Iteration umfasst die folgenden Schritte:
Sie erstellen Datensätze für die neuen beschrifteten Daten.
Sie führen das Flywheel aus, um eine neue Iteration zu erstellen. Die Iteration folgt diesen Schritten, um eine neue Modellversion zu trainieren und auszuwerten:
Evaluiert die aktive Modellversion anhand der neuen Daten.
Trainiert eine neue Modellversion anhand der neuen Daten.
-
Speichert die Bewertungs- und Trainingsergebnisse im Data Lake.
-
Gibt die F1-Werte für beide Modelle zurück.
Nach Abschluss der Iteration können Sie die F1-Werte für das vorhandene aktive Modell und das neue Modell vergleichen.
Wenn die neue Modellversion eine hervorragende Leistung aufweist, stufen Sie sie zur aktiven Modellversion hoch. Sie können die Hochstufen einer neuen Modellversion (Konsole)Konsole oder die API verwenden, um die neue Modellversion hochzustufen.
Verwalten von Iterationen (Konsole)
Sie können die Konsole verwenden, um eine neue Iteration zu starten und den Status einer laufenden Iteration abzufragen. Sie können auch die Ergebnisse abgeschlossener Iterationen anzeigen.
Starten einer Flywheel-Iteration (Konsole)
Bevor Sie eine neue Iteration starten können, erstellen Sie einen oder mehrere neue Trainings- oder Testdatensätze. Siehe Konfigurieren von Datensätzen
Starten einer Flywheel-Iteration (Konsole)
-
Melden Sie sich bei der an AWS Management Console und öffnen Sie die Amazon Comprehend-Konsole
. -
Wählen Sie im linken Menü Flywheels aus.
-
Wählen Sie in der Tabelle Flywheels ein Flywheel aus.
-
Wählen Sie Flywheel ausführen aus.
Analysieren von Iterationsergebnissen (Konsole)
Nachdem die Flywheel-Iteration ausgeführt wurde, zeigt die Konsole die Ergebnisse in der Tabelle Flywheels-Iterationen an.
Hochstufen einer neuen Modellversion (Konsole)
Auf der Seite mit den Modelldetails in der Konsole können Sie eine neue Modellversion zur aktiven Modellversion hochstufen.
Hochstufen einer Flywheel-Modellversion zur aktiven Modellversion (Konsole)
-
Melden Sie sich bei der an AWS Management Console und öffnen Sie die Amazon Comprehend-Konsole
. -
Wählen Sie im linken Menü Flywheels aus.
-
Wählen Sie in der Tabelle Flywheels ein Flywheel aus.
-
Wählen Sie in der Tabelle mit den Flywheel-Details die Version aus der Tabelle Flywheels Iterations aus, die hochgestuft werden soll.
-
Wählen Sie Aktives Modell erstellen aus.
Verwalten von Iterationen (API)
Sie können die Amazon Comprehend API verwenden, um eine neue Iteration zu starten und den Status einer laufenden Iteration abzufragen. Sie können auch die Ergebnisse abgeschlossener Iterationen anzeigen.
Starten der Flywheel-Iteration (API)
Verwenden Sie die Amazon Comprehend-StartFlywheelIterationOperation, um eine Flywheel-Iteration zu starten.
aws comprehend start-flywheel-iteration \ --flywheel-arn "flywheelArn"
Die Antwort enthält den folgenden Inhalt.
{ "FlywheelIterationArn": "arn:aws::comprehend:
aws-region
:111122223333
:flywheel/name" }
Hochstufen einer neuen Modellversion (API)
Verwenden Sie die -UpdateFlywheelOperation, um eine Modellversion zur aktiven Modellversion hochzustufen.
Senden Sie die UpdateFlywheel
Anforderung mit dem ActiveModelArn
Parameter , der auf den ARN der neuen aktiven Modellversion festgelegt ist.
aws comprehend update-flywheel \ --active-model-arn "modelArn" \
Die Antwort enthält den folgenden Inhalt.
{ "FlywheelArn": "arn:aws::comprehend:
aws-region
:111122223333
:flywheel/name", "ActiveModelArn": "modelArn" }
Beschreiben der Flywheel-Iterationsergebnisse (API)
Die Amazon Comprehend-DescribeFlywheelIterationOperation gibt Informationen zu einer Iteration zurück, nachdem sie abgeschlossen ist.
aws comprehend describe-flywheel-iteration \ --flywheel-arn "flywheelArn" \ --flywheel-iteration-id "flywheelIterationId" \ --region
aws-region
Die Antwort enthält den folgenden Inhalt.
{
"FlywheelIterationProperties": {
"FlywheelArn": "flywheelArn",
"FlywheelIterationId": "iterationId",
"CreationTime": <createdAt>,
"EndTime": <endedAt>,
"Status": <status>,
"Message": <message>,
"EvaluatedModelArn": "modelArn",
"EvaluatedModelMetrics": {
"AverageF1Score": <value>,
"AveragePrecision": <value>,
"AverageRecall": <value>,
"AverageAccuracy": <value>
},
"TrainedModelArn": "modelArn",
"TrainedModelMetrics": {
"AverageF1Score": <value>,
"AveragePrecision": <value>,
"AverageRecall": <value>,
"AverageAccuracy": <value>
}
}
}
Abrufen des Iterationsverlaufs (API)
Verwenden Sie die -ListFlywheelIterationHistoryOperation, um Informationen zum Iterationsverlauf abzurufen.
aws comprehend list-flywheel-iteration-history \
--flywheel-arn "flywheelArn"
Die Antwort enthält den folgenden Inhalt.
{
"FlywheelIterationPropertiesList": [
{
"FlywheelArn": "<flywheelArn>",
"FlywheelIterationId": "20220907T214613Z",
"CreationTime": 1662587173.224,
"EndTime": 1662592043.02,
"Status": "<status>",
"Message": "<message>",
"EvaluatedModelArn": "modelArn",
"EvaluatedModelMetrics": {
"AverageF1Score": 0.8333333333333333,
"AveragePrecision": 0.75,
"AverageRecall": 0.9375,
"AverageAccuracy": 0.8125
},
"TrainedModelArn": "modelArn",
"TrainedModelMetrics": {
"AverageF1Score": 0.865497076023392,
"AveragePrecision": 0.7636363636363637,
"AverageRecall": 1.0,
"AverageAccuracy": 0.84375
}
}
]
}