Studio Classic で Amazon SageMaker Experiments を管理する

重要

Experiments Python SDK を使用した SageMaker 実験追跡は、Studio Classic でのみ使用できます。新しい Studio エクスペリエンスを使用し、MLflow との最新の SageMaker統合を使用して実験を作成することをお勧めします。Studio Classic との MLflow UI 統合はありません。Studio で MLflow を使用する場合は、 を使用して MLflow UI を起動する必要があります AWS CLI。詳細については、「を使用して MLflow UI を起動する AWS CLI」を参照してください。

Amazon SageMaker Experiments Classic は、Studio Classic で機械学習実験を作成、管理、分析、比較 SageMaker できる Amazon の機能です。

Experiments Classic は、 の実行時に反復の入力、パラメータ、設定、および結果を自動的に追跡します。これらの実行を実験 に割り当て、グループ化、整理できます。実験は Amazon Studio Classic と統合されており、アクティブおよび過去の実験を参照し、主要なパフォーマンスメトリクスで実行を比較し、最もパフォーマンスの高いモデルを特定するためのビジュアルインターフェイスを提供します。 SageMaker SageMaker SageMaker Experiments は、モデルの作成にかかったすべてのステップとアーティファクトを追跡し、本番環境の問題のトラブルシューティングや、モデルのコンプライアンス検証の監査を行う際に、モデルオリジンをすばやく再確認できます。

SageMaker Experiments を使用して、プログラムで作成したカスタム実験と SageMaker ジョブから自動的に作成された実験の両方を表示、管理、分析、比較します。

Experiments Classic のノートブック例

以下のチュートリアルでは、さまざまなモデルトレーニング実験の実行を追跡する方法を説明します。ノートブックを実行した後、Studio Classic で結果の実験を表示できます。Studio Classic の追加機能を紹介するチュートリアルについては、「」を参照してくださいAmazon SageMaker Studio Classic ツアー。

ノートブック環境で実験を追跡する

ノートブック環境での実験の追跡について詳しくは、以下のサンプルノートブックを参照してください。

• Keras モデルをローカルでトレーニングしながら実験を追跡する

• Pytorch モデルをローカルまたはノートブックでトレーニングしながら実験を追跡する

SageMaker Clarify で実験のバイアスと説明可能性を追跡する

実験のバイアスと説明可能性を追跡する step-by-step ガイドについては、次のサンプルノートブックを参照してください。

• SageMaker Clarify での公平性と説明可能性

スクリプトモードを使用して SageMaker トレーニングジョブの実験を追跡する

SageMaker トレーニングジョブの実験の追跡の詳細については、次のサンプルノートブックを参照してください。

• Pytorch 分散データ並列 - MNIST 手書き桁分類で SageMaker 実験を実行する

• トレーニングジョブを使用して Pytorch モデルの SageMaker トレーニング中に実験を追跡する

• トレーニングジョブを使用して TensorFlow モデルを SageMaker トレーニングし、 SageMaker Experiments を使用して追跡する

実験と実行を表示する

Amazon SageMaker Studio Classic には、実験と実行のリストを表示するために使用できる実験ブラウザが用意されています。これらのエンティティのいずれかを選択して、エンティティに関する詳細情報を表示したり、複数のエンティティを選択して比較したりできます。実験のリストは、エンティティ名、タイプ、タグでフィルタリングできます。

実験と実行を表示するには

1. Studio Classic で実験を表示するには、左側のサイドバーで「実験」を選択します。

   実験の名前を選択すると、関連するすべての実行が表示されます。検索バーに直接入力するか、実験タイプをフィルタリングして実験を検索できます。また、実験または実行リストに表示する列を選択することもできます。

   新しい実験または実験実行を更新して表示するまでに時間がかかる場合があります。[更新] をクリックすると、ページを更新できます。実験リストは以下のようになります。

   

2. 実験リストで実験をダブルクリックして、その実験の実行のリストを表示します。

   注記

   SageMaker ジョブとコンテナによって自動的に作成される実験実行は、デフォルトで Experiments Studio Classic UI に表示されます。特定の実験の SageMaker ジョブによって作成された実行を非表示にするには、設定アイコン ( ) を選択し、ジョブの表示 を切り替えます。

   

3. 実行をダブルクリックすると、特定の実行に関する情報が表示されます。

   [概要] ペインで以下の見出しのいずれかを選択すると、各実行に関する利用可能な情報が表示されます。

   • メトリクス - 実行中に記録されるメトリクス。

   • グラフ — 独自のグラフを作成して実行を比較します。

   • 出力アーティファクト — 実験実行の結果得られたすべてのアーティファクトと Amazon S3 内のアーティファクトの場所。

   • バイアスレポート – Clarify を使用して生成されたトレーニング前またはトレーニング後のバイアスレポート。

   • 説明可能性 — Clarify を使用して生成された説明可能性レポート。

   • デバッガー - デバッガーのルールと見つかった問題のリスト。

MLflow SageMaker を使用して Experiments Classic から Amazon に移行する

Experiments Classic を使用して作成された過去の実験は、Studio Classic で引き続き表示できます。MLflow で過去の実験コードを維持して使用する場合は、MLflow SDK を使用するようにトレーニングコードを更新し、トレーニング実験を再度実行する必要があります。MLflow SDK と AWS MLflow プラグインの開始方法の詳細については、「」を参照してくださいMLflow で実験を追跡する。