Analysieren Sie die Ergebnisse einer Modellanpassung - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Analysieren Sie die Ergebnisse einer Modellanpassung

Nach Abschluss eines Auftrags zur Modellanpassung können Sie die Ergebnisse des Trainingsprozesses analysieren, indem Sie sich die Dateien im S3-Ausgabeordner ansehen, den Sie beim Absenden des Jobs angegeben haben, oder Details zum Modell einsehen. Amazon Bedrock speichert Ihre individuellen Modelle in einem AWS verwalteten Speicher, der auf Ihr Konto beschränkt ist.

Sie können Ihr Modell auch bewerten, indem Sie einen Modellevaluierungsjob ausführen. Weitere Informationen finden Sie unter Wählen Sie anhand von Amazon Bedrock-Bewertungen das Modell mit der besten Leistung.

Die S3-Ausgabe für einen Modellanpassungsauftrag enthält die folgenden Ausgabedateien in Ihrem S3-Ordner. Die Validierungsartefakte werden nur angezeigt, wenn Sie einen Validierungsdatensatz hinzugefügt haben.

- model-customization-job-training-job-id/
    - training_artifacts/
        - step_wise_training_metrics.csv
    - validation_artifacts/
        - post_fine_tuning_validation/
            - validation_metrics.csv

Verwenden Sie die Dateien step_wise_training_metrics.csv und validation_metrics.csv, um den Modellanpassungsauftrag zu analysieren und das Modell bei Bedarf anzupassen.

Die step_wise_training_metrics.csv Datei enthält die folgenden Spalten.

  • step_number — Der Schritt im Trainingsprozess. Beginnt bei 0.

  • epoch_number — Die Epoche im Trainingsprozess.

  • training_loss — Gibt an, wie gut das Modell zu den Trainingsdaten passt. Ein niedrigerer Wert bedeutet eine bessere Anpassung.

  • Verwirrung — Gibt an, wie gut das Modell eine Sequenz von Tokens vorhersagen kann. Ein niedrigerer Wert weist auf eine bessere Vorhersagefähigkeit hin.

Die Spalten in der validation_metrics.csv Datei sind dieselben wie in der Trainingsdatei, außer dass validation_loss (wie gut das Modell zu den Validierungsdaten passt) anstelle von training_loss angezeigt wird.

Sie können die Ausgabedateien finden, indem Sie die Datei https://console.aws.amazon.com/s3 direkt öffnen oder indem Sie in Ihren Modelldetails nach dem Link zum Ausgabeordner suchen. Wählen Sie die Registerkarte, die der Methode Ihrer Wahl entspricht, und folgen Sie den Schritten:

Console

  1. Melden Sie sich als Benutzer mit IAM Amazon Bedrock-Berechtigungen an und öffnen Sie die Amazon Bedrock-Konsole AWS Management Console unter. https://console.aws.amazon.com/bedrock/

  2. Wählen Sie im linken Navigationsbereich unter Foundation-Modelle die Option Benutzerdefinierte Modelle aus.

  3. Wählen Sie auf der Registerkarte Modelle ein Modell aus, um dessen Details anzuzeigen. Den Jobnamen finden Sie im Abschnitt Modelldetails.

  4. Um die S3-Ausgabedateien anzuzeigen, wählen Sie den S3-Speicherort im Abschnitt Ausgabedaten aus.

  5. Suchen Sie die Trainings- und Validierungsmetrikdateien in dem Ordner, dessen Name mit dem Jobnamen für das Modell übereinstimmt.

API

Um Informationen zu all Ihren benutzerdefinierten Modellen aufzulisten, senden Sie eine Anfrage ListCustomModels(siehe Link für Anfrage- und Antwortformate und Felddetails) mit einem Endpunkt der Amazon Bedrock-Steuerebene. Filter, ListCustomModelsdie Sie verwenden können, finden Sie unter.

Um alle Tags für ein benutzerdefiniertes Modell aufzulisten, senden Sie eine ListTagsForResourceAnfrage (siehe Link für Anfrage- und Antwortformate und Felddetails) mit einem Endpunkt der Amazon Bedrock-Steuerebene und geben Sie den Amazon-Ressourcennamen (ARN) des benutzerdefinierten Modells an.

Um den Status eines Auftrags zur Modellanpassung zu überwachen, senden Sie eine Anfrage GetCustomModel(siehe Link für Anfrage- und Antwortformate und Felddetails) mit einem Amazon Bedrock-Steuerebenen-Endpunkt mit demmodelIdentifier, was einer der folgenden ist.

  • Der Name, den Sie dem Modell gegeben haben.

  • Der ARN des Modells.

In der GetCustomModelAntwort GetModelCustomizationJoboder finden Sie trainingMetrics und validationMetrics für einen Auftrag zur Modellanpassung.

Um die Dateien mit den Trainings- und Validierungsmetriken herunterzuladen, folgen Sie den Schritten unter Objekte herunterladen. Verwenden Sie das S3URI, das Sie in der bereitgestellt habenoutputDataConfig.

Siehe Codebeispiele