在經典工作室管理 Amazon SageMaker 實驗 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

在經典工作室管理 Amazon SageMaker 實驗

重要

使用 SageMaker 實驗 Python SDK 進行實驗跟踪只能在工作室經典版中使用。我們建議您使用新的 Studio 體驗,並使用與 MLFlow 的最新 SageMaker整合來建立實驗。沒有與工作室經典的 MLFlow UI 集成。如果您想要搭配工作室使用 MLFlow,您必須使用. AWS CLI如需詳細資訊,請參閱 使用啟動 MLFlow 使用者介面 AWS CLI

Amazon SageMaker 實驗經典版是 Amazon 的一項功能 SageMaker ,可讓您在工作室經典中創建,管理,分析和比較機器學習實驗。

實驗經典作為運行自動跟踪迭代的輸入,參數,配置和結果。您可以將這些運行分配,分組和組織到實驗中。 SageMaker 實驗與 Amazon SageMaker Studio Classic 整合,提供視覺化介面來瀏覽您的活動和過去的實驗、比較關鍵效能指標上的執行次數,以及識別效能最佳的模型。 SageMaker 實驗會追蹤建立模型時進行的所有步驟和成品,當您在疑難排解生產中的問題或稽核模型是否符合性驗證時,您可以快速重新瀏覽模型的來源。

使用「 SageMaker 實驗」可檢視、管理、分析和比較您以程式設計方式建立的自訂實驗,以及從 SageMaker 工作自動建立的實驗。

實驗經典的示例筆記本

以下教學課程示範如何追蹤各種模型訓練實驗的執行項目。運行筆記本後,您可以在工作室經典中查看產生的實驗。如需展示 Studio 經典版其他功能的教學課程,請參閱Amazon SageMaker 工作室經典遊

在筆記本環境中追蹤實驗

若要深入了解如何追蹤筆記本環境中的實驗,請參閱下列範例筆記本:

使 SageMaker 用澄清跟踪實驗的偏見和解釋性

如需追蹤實驗偏差和解釋性的 step-by-step 指南,請參閱下列範例筆記本:

使用指令碼模式追蹤 SageMaker 訓練工作的實驗

如需有關追蹤 SageMaker 訓練工作實驗的詳細資訊,請參閱下列範例筆記本:

檢視實驗和執行項目

Amazon SageMaker 工作室經典版提供了一個實驗瀏覽器,您可以使用它來檢視實驗和執行的清單。您可以選擇其中一個實體來檢視實體的詳細資訊,或選擇多個實體進行比較。您可以依實體名稱、類型和標籤篩選實驗清單。

如要檢視實驗和執行項目
  1. 若要在「工作室經典版」中檢視實驗,請在左側邊欄中選擇「實驗」。

    選取實驗名稱,即可檢視所有相關的執行項目。您可以直接在搜尋列中輸入內容來搜尋實驗,或篩選實驗類型。也可以選擇要在實驗或執行清單中顯示的欄位。

    清單可能需要一點時間才能重新整理並顯示新的實驗或實驗執行項目。您可以按一下重新整理以更新頁面。您的實驗清單看起來應與下列類似:

    實驗 UI 中的實 SageMaker 驗列表
  2. 在實驗清單中,按兩下實驗以列出實驗中執行項目的清單。

    注意

    默認情況下,由 SageMaker 作業和容器自動創建的實驗運行在實驗工作室經典 UI 中可見。若要隱藏由指定實驗的 SageMaker 工作建立的執行,請選擇設定圖示 ( The settings icon for Studio Classic. ),然後切換顯示工作

    SageMaker 實驗用戶界面中運行的實驗列表
  3. 按兩下執行項目,即可顯示特定執行項目的資訊。

    概觀窗格中,選擇下列任一標題,以查看每個執行項目可用的資訊:

    • 指標:在執行期間記錄的指標。

    • 圖表:建置自己的圖表以比較執行項目。

    • 輸出成品:執行實驗所產生的任何成品以及成品在 Amazon S3 中的位置。

    • 偏見報告 — 使用「澄清」產生的訓練前或訓練後偏見報告。

    • 解釋性:使用 Clarify 所產生的解釋性報告。

    • 偵錯:偵錯工具規則和發現的任何問題之清單。

SageMaker 使用 MLFlow 從經典實驗遷移到 Amazon

使用實驗經典創建的過去的實驗仍然可以在工作室經典中查看。如果您想要透過 MLFlow 維護和使用過去的實驗程式碼,則必須更新訓練程式碼以使用 MLFlow SDK,然後再次執行訓練實驗。如需開始使用 MLFlow SDK 和 MLF AWS low 外掛程式的詳細資訊,請參閱。使用 MLFlow 追蹤實驗