分析模型自訂任務的結果 - Amazon Bedrock

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

分析模型自訂任務的結果

模型自訂任務完成後，您可以查看您在提交任務時指定的輸出 S3 資料夾中的檔案，或檢視模型的詳細資訊，以分析訓練程序的結果。Amazon Bedrock AWS會將您的自訂模型存放在受管儲存體，範圍為您的帳戶。

您也可以執行模型評估任務來評估模型。如需詳細資訊，請參閱評估 Amazon Bedrock 資源的效能。

模型自訂任務的 S3 輸出包含 S3 資料夾中的下列輸出檔案。只有在包含驗證資料集時，才會顯示驗證成品。

- model-customization-job-training-job-id/
    - training_artifacts/
        - step_wise_training_metrics.csv
    - validation_artifacts/
        - post_fine_tuning_validation/
            - validation_metrics.csv

使用 step_wise_training_metrics.csv 和 validation_metrics.csv 檔案來分析模型自訂工作，並協助您根據需要調整模型。

檔案中的資料欄step_wise_training_metrics.csv如下所示。

  • step_number – 訓練程序的步驟。從 0 開始。

  • epoch_number – 訓練程序中的 epoch。

  • training_loss – 指出模型符合訓練資料的程度。較低的值表示更適合。

  • 複雜度 – 指出模型預測一系列字符的能力。較低的值表示更好的預測能力。

檔案中的資料欄validation_metrics.csv與訓練檔案相同，但 validation_loss（模型符合驗證資料的程度） 會取代 出現training_loss。

您可以直接開啟 https://console.aws.amazon.com/s3 來尋找輸出檔案，或在模型詳細資訊中找到輸出資料夾的連結。選擇您偏好方法的索引標籤，然後遵循下列步驟：

Console

  1. AWS Management Console 使用IAM具有 Amazon Bedrock 許可的角色登入 ，並在 開啟 Amazon Bedrock 主控台https://console.aws.amazon.com/bedrock/。

  2. 從左側導覽窗格中，選擇基礎模型下的自訂模型。

  3. 在模型索引標籤中，選取模型以檢視其詳細資訊。您可以在模型詳細資訊區段中找到任務名稱。

  4. 若要檢視輸出 S3 檔案，請在輸出資料區段中選取 S3 位置。

  5. 在名稱符合模型任務名稱的資料夾中尋找訓練和驗證指標檔案。

API

若要列出所有自訂模型的相關資訊，請使用 Amazon Bedrock 控制平面端點傳送 請求 ListCustomModels（請參閱請求和回應格式和欄位詳細資訊的連結）。如需您可以使用ListCustomModels的篩選條件，請參閱 。

若要列出自訂模型的所有標籤，請使用 Amazon Bedrock 控制平面端點傳送ListTagsForResource請求，並包含自訂模型的 Amazon Resource Name (ARN)。

若要監控模型自訂任務的狀態，請使用具有 的 Amazon Bedrock 控制平面端點傳送 請求 GetCustomModel（請參閱請求和回應格式和欄位詳細資訊的連結）modelIdentifier，這是下列其中一項。

  • 您提供模型的名稱。

  • 模型ARN的 。

您可以在 或 validationMetrics GetModelCustomizationJobGetCustomModel回應中查看模型自訂任務的 trainingMetrics和 。

若要下載訓練和驗證指標檔案，請遵循下載物件的步驟。使用URI您在 中提供的 S3outputDataConfig。

請參閱程式碼範例