翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
シャドウテスト
Amazon SageMaker では、モデル提供インフラストラクチャに対する変更を評価するには、そのパフォーマンスを現在デプロイされているインフラストラクチャと比較します。この方法はシャドウテストと呼ばれています。シャドウテストは、潜在的な設定エラーやパフォーマンスの問題がエンドユーザーに影響を与える前に発見するのに役立ちます。では SageMaker、シャドウテストインフラストラクチャの構築に投資する必要がないため、モデル開発に集中できます。
この機能を使用することで、モデル、コンテナ、インスタンスなど、本番稼働用バリアントのあらゆるコンポーネントへの変更を、エンドユーザーに影響を与えることなく検証できます。これは次のような状況で役立ちます (これらに限定されません)。
-
オフラインで検証された新しいモデルを本番環境に導入することを検討しているものの、この決定を下す前に、レイテンシーやエラー率などの運用パフォーマンス指標を評価したい場合。
-
脆弱性へのパッチ適用や新しいバージョンへのアップグレードなど、サービス提供インフラストラクチャコンテナへの変更を検討しており、本番環境に移行する前にこれらの変更の影響を評価したい場合。
-
ML インスタンスの変更を検討しており、新しいインスタンスがライブ推論リクエストでどのように機能するかを評価したい場合。
SageMaker コンソールは、シャドウテストのワークフローを管理するためのガイド付きエクスペリエンスを提供します。シャドウテストは、事前定義された期間にわたって設定し、ライブダッシュボードでテストの進行状況をモニタリングし、完了時にクリーンアップして、結果に対応できます。テスト対象の本番稼働用バリアントを選択すると、 SageMaker は新しいバリアントをシャドウモードで自動的にデプロイし、推論リクエストのコピーを同じエンドポイント内でリアルタイムでルーティングします。本番稼働用バリアントの応答のみが呼び出し元のアプリケーションに返されます。シャドウバリアントの応答を破棄するか、オフラインで比較できるようにログに残すかを選択できます。本番稼働用バリアントとシャドウバリアントの詳細については、「本番稼働のモデルを安全に検証」を参照してください。
シャドウテストを作成する手順については、「シャドウテストを作成する」を参照してください。
注記
エンドポイントの機能によっては、エンドポイントがシャドウテストと互換性がない場合があります。エンドポイントが次のいずれかの機能を使用している場合、エンドポイントでシャドウテストを使用することはできません。シャドウテストをセットアップするリクエストは検証エラーの原因になります。
サーバーレス推論
非同期推論
Marketplace コンテナ
複数コンテナエンドポイント
マルチモデルエンドポイント
Inf1 (Inferentiaベース) インスタンスを使うエンドポイント
Amazon Elastic Inference エンドポイント