Analysieren Sie die Ergebnisse eines Modellierungsanpassungsauftrags

Nach Abschluss eines Auftrags zur Modellanpassung können Sie die Ergebnisse des Trainingsprozesses analysieren, indem Sie sich die Dateien im S3-Ausgabeordner ansehen, den Sie beim Absenden des Jobs angegeben haben, oder sich Details zum Modell ansehen. Amazon Bedrock speichert Ihre maßgeschneiderten Modelle in einem AWS verwalteten Speicher, der auf Ihr Konto beschränkt ist.

Sie können Ihr Modell auch evaluieren, indem Sie einen Modellevaluierungsjob ausführen. Weitere Informationen finden Sie unter Bewerten Sie die Leistung der Amazon Bedrock-Ressourcen.

Die S3-Ausgabe für einen Modellanpassungsauftrag enthält die folgenden Ausgabedateien in Ihrem S3-Ordner. Die Validierungsartefakte werden nur angezeigt, wenn Sie einen Validierungsdatensatz hinzugefügt haben.

- model-customization-job-training-job-id/
    - training_artifacts/
        - step_wise_training_metrics.csv
    - validation_artifacts/
        - post_fine_tuning_validation/
            - validation_metrics.csv

Verwenden Sie die Dateien step_wise_training_metrics.csv und validation_metrics.csv, um den Modellanpassungsauftrag zu analysieren und das Modell bei Bedarf anzupassen.

Die step_wise_training_metrics.csv Datei enthält die folgenden Spalten.

• step_number — Der Schritt im Trainingsprozess. Beginnt bei 0.

• epoch_number — Die Epoche im Trainingsprozess.

• training_loss — Gibt an, wie gut das Modell zu den Trainingsdaten passt. Ein niedrigerer Wert bedeutet eine bessere Anpassung.

• Verwirrung — Gibt an, wie gut das Modell eine Sequenz von Tokens vorhersagen kann. Ein niedrigerer Wert weist auf eine bessere Vorhersagefähigkeit hin.

Die Spalten in der validation_metrics.csv Datei sind dieselben wie in der Trainingsdatei, außer dass validation_loss (wie gut das Modell zu den Validierungsdaten passt) anstelle von training_loss angezeigt wird.

Sie können die Ausgabedateien finden, indem Sie die Datei https://console.aws.amazon.com/s3 direkt öffnen oder indem Sie in Ihren Modelldetails nach dem Link zum Ausgabeordner suchen. Wählen Sie die Registerkarte für Ihre bevorzugte Methode und folgen Sie dann den Schritten:

Console

1. Melden Sie sich als Benutzer mit IAM Amazon Bedrock-Berechtigungen an und öffnen Sie die Amazon Bedrock-Konsole AWS Management Console unter. https://console.aws.amazon.com/bedrock/

2. Wählen Sie im linken Navigationsbereich unter Foundation-Modelle die Option Benutzerdefinierte Modelle aus.

3. Wählen Sie auf der Registerkarte Modelle ein Modell aus, um dessen Details anzuzeigen. Den Jobnamen finden Sie im Abschnitt Modelldetails.

4. Um die S3-Ausgabedateien anzuzeigen, wählen Sie den S3-Speicherort im Abschnitt Ausgabedaten aus.

5. Suchen Sie die Trainings- und Validierungsmetrikdateien in dem Ordner, dessen Name mit dem Jobnamen für das Modell übereinstimmt.

API

Um Informationen zu all Ihren benutzerdefinierten Modellen aufzulisten, senden Sie eine Anfrage ListCustomModels(siehe Link für Anfrage- und Antwortformate und Felddetails) mit einem Endpunkt der Amazon Bedrock-Steuerungsebene. Filter, ListCustomModelsdie Sie verwenden können, finden Sie unter.

Um alle Tags für ein benutzerdefiniertes Modell aufzulisten, senden Sie eine ListTagsForResourceAnfrage mit einem Endpunkt der Amazon Bedrock-Steuerungsebene und geben Sie den Amazon-Ressourcennamen (ARN) des benutzerdefinierten Modells an.

Um den Status eines Auftrags zur Modellanpassung zu überwachen, senden Sie eine Anfrage GetCustomModel(siehe Link für Anfrage- und Antwortformate und Felddetails) mit einem Amazon Bedrock-Steuerebenen-Endpunkt mit demmodelIdentifier, was einer der folgenden ist.

• Der Name, den Sie dem Modell gegeben haben.

• Der ARN des Modells.

Sie können in der GetCustomModelAntwort GetModelCustomizationJoboder den Wert trainingMetrics und validationMetrics für einen Auftrag zur Modellanpassung sehen.

Um die Dateien mit den Trainings- und Validierungsmetriken herunterzuladen, folgen Sie den Schritten unter Objekte herunterladen. Verwenden Sie das S3URI, das Sie in der bereitgestellt habenoutputDataConfig.

Siehe Codebeispiele