シャドウテストを作成する

シャドウテストを作成して、シャドウバリアントと本番稼働用バリアントのパフォーマンスを比較できます。推論リクエストを提供している既存のエンドポイントでテストを実行することができ、またテストを実行する新しいエンドポイントを作成することもできます。

シャドウテストを作成するには、次を指定する必要があります。

• 受信した推論リクエストを 100% 受け取り、応答する本番稼働用バリアント。

• 受信リクエストを割合で受け取り、本番稼働用バリアントから複製するがレスポンスを返さないシャドウバリアント。

バリアントごとに、 SageMaker を使用してモデル、インスタンスタイプ、インスタンス数を制御できます。シャドウバリアントにレプリケートするトラフィックサンプリングパーセンテージと呼ばれる受信リクエストの割合を設定できます。 は、シャドウバリアントへのリクエストのレプリケーション SageMaker を管理し、テストがスケジュールまたは実行されているときにトラフィックサンプリングパーセンテージを変更できます。必要に応じて、データキャプチャを有効にして、本番稼働用バリアントおよびシャドウバリアントのリクエストとレスポンスをログに記録することもできます。

注記

SageMaker は、エンドポイントごとに最大 1 つのシャドウバリアントをサポートします。1 つのシャドウバリアントに 1 つのエンドポイントがある場合、本番稼働用バリアントは最大 1 つです。

いつでもテストを開始し、指定した期間継続するようにスケジュールできます。デフォルトの期間は 7 日で、最大 30 日です。テストが完了すると、エンドポイントはテストを開始する前の状態に戻ります。これにより、テストの完了時にリソースを手動でクリーンアップする必要がなくなります。

SageMaker コンソールのダッシュボードで実行されているテストをモニタリングできます。ダッシュボードでは、本番稼働用バリアントとシャドウバリアントの呼び出しメトリクスとインスタンスメトリクスを対照比較でき、関連するメトリクス統計が表形式ビューで表示されます。このダッシュボードは、完了したテストでも使用可能です。メトリクスを確認したら、シャドウバリアントを新しい本番稼働用バリアントに昇格させるか、既存の本番稼働用バリアントを保持するかのいずれかを選択できます。シャドウバリアントを昇格すると、すべての受信リクエストに応答します。詳細については、「シャドウバリアントを昇格させる」を参照してください。

次の手順では、 SageMaker コンソールを使用してシャドウテストを作成する方法について説明します。既存のエンドポイントを使用するか、シャドウテスト用に新しいエンドポイントを作成するかによって、ワークフローは異なります。

前提条件

SageMaker コンソールでシャドウテストを作成する前に、使用できる SageMaker モデルが必要です。 SageMaker モデルの作成方法の詳細については、「」を参照してくださいリアルタイム推論用のモデルをデプロイする。

本番稼働用バリアントとシャドウバリアントを持つ既存のエンドポイント、本番稼働用バリアントのみを持つ既存のエンドポイント、または比較する SageMaker モデルのみを使用して、シャドウテストを開始できます。シャドウテストは、テスト開始前のエンドポイントの作成とバリアントの追加をサポートしています。

注記

特定のエンドポイント機能により、エンドポイントがシャドウテストと互換性がない場合があります。エンドポイントが次のいずれかの機能を使用している場合、エンドポイントでシャドウテストを使用することはできません。シャドウテストの設定をリクエストすると、検証エラーが発生します。

• サーバーレス推論

• 非同期推論

• Marketplace コンテナ

• 複数コンテナエンドポイント

• マルチモデルエンドポイント

• Inf1 (Inferentiaベース) インスタンスを使うエンドポイント

シャドウテストの詳細を入力する

シャドウテストの作成を開始するには、次の作業を行って [シャドウテストの詳細を入力] ページに入力します。

1. SageMaker コンソール を開きます。

2. 左側のナビゲーションパネルで [推論] を選択し、次に [シャドウテスト] を選択します。

3. [シャドウテストを作成] を選択します。

4. [名前] に、テストの名前を入力します。

5. (オプション) [説明] に、テストの説明を入力します。

6. (オプション) キーと値のペアを使用してタグを指定します。

7. [Next (次へ)] を選択します。

シャドウテストの設定を入力する

[シャドウテストの詳細を入力] ページに入力した後、[シャドウテスト設定を入力] ページに入力します。 SageMaker 推論エンドポイントと本番稼働用バリアントが既にある場合は、既存のエンドポイントを使用するワークフローに従います。エンドポイントをまだ作成していない場合は、[新しいエンドポイントを作成] ワークフローに従ってください。

Use an existing endpoint

テストに既存のエンドポイントを使用する場合は、次の作業を行って [シャドウテスト設定を入力] ページに入力します。

1. AmazonSageMakerFullAccess IAM ポリシーがアタッチされているロールを選択します。

2. [既存のエンドポイントを使用] を選択し、使用可能なエンドポイントの 1 つを選択します。

3. （オプション) エンドポイントのストレージボリュームを暗号化するには、既存のKMSキーを選択するか、暗号化KMSキー のドロップダウンリストからキーを入力しますARN。 2 番目のオプションを選択すると、KMSキーを入力するフィールドARNが表示されます。ARN そのフィールドに KMSキーを入力します。

4. そのエンドポイントの背後に複数の本番稼働用バリアントがある場合、テストに使用しないバリアントを削除してください。モデルバリアントを削除するには、そのモデルバリアントを選択して [削除] を選択します。

5. シャドウバリアントがまだない場合は、シャドウバリアントを追加してください。シャドウバリアントを追加するには、次の作業を行います。

   1. [追加] を選択します。

   2. [シャドウバリアント] を選択します。

   3. [モデルの追加] ダイアログボックスで、シャドウバリアントに使用するモデルを選択します。

   4. [Save] を選択します。

6. (オプション) 前述のステップでは、シャドウバリアントはデフォルトの設定で追加されます。これらの設定を変更するには、シャドウバリアントを選択して [編集] を選択します。[シャドウバリアントを編集] ダイアログボックスが表示されます。このダイアログボックスの入力方法の詳細については、「シャドウテストを編集する」を参照してください。

7. [スケジュール] セクションで、次のようにテスト期間を入力します。

   1. [期間] の下のボックスを選択します。ポップアップカレンダーが表示されます。

   2. カレンダーから開始日と終了日を選択するか、[開始日] と [終了日] のフィールドにそれぞれ開始日と終了日を入力します。

   3. (オプション) [開始時刻] と [終了時刻] のフィールドには、それぞれ開始時刻と終了時刻を 24 時間形式で入力します。

   4. [Apply] を選択します。

   最短期間は 1 時間、最長期間は 30 日です。

8. (オプション) [データキャプチャを有効にする] をオンにして、エンドポイントからの推論リクエストとレスポンス情報を Amazon S3 バケットに保存し、Amazon S3 バケットの場所を入力します。

9. [シャドウテストを作成] を選択します。

Create a new endpoint

既存のエンドポイントがない場合、またはテスト用に新しいエンドポイントを作成する場合は、[シャドウテスト設定を入力] ページに次のように入力します。

1. AmazonSageMakerFullAccess IAM ポリシーがアタッチされているロールを選択します。

2. [新しいエンドポイントを作成] を選択します。

3. [名前] に、エンドポイントの名前を入力します。

4. 1 つの本番稼働用バリアントと 1 つのシャドウバリアントをエンドポイントに追加します。

   • 本番稼働用バリアントを追加するには、[追加] を選択し、[本番稼働用バリアント] を選択します。[モデルの追加] ダイアログボックスで、本番稼働用バリアントに使用するモデルを選択し、[保存] を選択します。

   • シャドウバリアントを追加するには、[追加] を選択し、[シャドウバリアント] を選択します。[モデルの追加] ダイアログボックスで、シャドウバリアントに使用するモデルを選択し、[保存] を選択します。

5. (オプション) 前述のステップでは、シャドウバリアントはデフォルトの設定で追加されます。これらの設定を変更するには、シャドウバリアントを選択して [編集] を選択します。[シャドウバリアントを編集] ダイアログボックスが表示されます。このダイアログボックスの入力方法の詳細については、「シャドウテストを編集する」を参照してください。

6. [スケジュール] セクションで、次のようにテスト期間を入力します。

   1. [期間] の下のボックスを選択します。ポップアップカレンダーが表示されます。

   2. カレンダーから開始日と終了日を選択するか、[開始日] と [終了日] にそれぞれ開始日と終了日を入力します。

   3. (オプション) [開始時刻] と [終了時刻] に、それぞれ開始時刻と終了時刻を 24 時間形式で入力します。

   4. [Apply] を選択します。

   最短期間は 1 時間、最長期間は 30 日です。

7. (オプション) [データキャプチャを有効にする] をオンにして、エンドポイントからの推論リクエストとレスポンス情報を Amazon S3 バケットに保存し、Amazon S3 バケットの場所を入力します。

8. [シャドウテストを作成] を選択します。

上述の手順を完了すると、指定した開始日時にテストが開始するようにスケジュールされます。テストの進行状況はダッシュボードから確認できます。テストの表示と実行可能なアクションの詳細については、「シャドウテストを表示、モニタリング、編集する方法」を参照してください。