シャドウテスト

Amazon SageMaker では、現在デプロイされているインフラストラクチャとパフォーマンスを比較することで、モデル提供インフラストラクチャへの変更を評価できます。この方法はシャドウテストと呼ばれています。シャドウテストは、潜在的な設定エラーやパフォーマンスの問題がエンドユーザーに影響を与える前に発見するのに役立ちます。では SageMaker、シャドウテストインフラストラクチャの構築に投資する必要がないため、モデル開発に集中できます。

この機能を使用することで、モデル、コンテナ、インスタンスなど、本番稼働用バリアントのあらゆるコンポーネントへの変更を、エンドユーザーに影響を与えることなく検証できます。これは次のような状況で役立ちます (これらに限定されません)。

• オフラインで検証された新しいモデルを本番環境に導入することを検討しているものの、この決定を下す前に、レイテンシーやエラー率などの運用パフォーマンス指標を評価したい場合。

• 脆弱性へのパッチ適用や新しいバージョンへのアップグレードなど、サービス提供インフラストラクチャコンテナへの変更を検討しており、本番環境に移行する前にこれらの変更の影響を評価したい場合。

• ML インスタンスの変更を検討しており、新しいインスタンスがライブ推論リクエストでどのように機能するかを評価したい場合。

SageMaker コンソールは、シャドウテストのワークフローを管理するためのガイド付きエクスペリエンスを提供します。事前に設定した期間のシャドウテストを設定し、ライブダッシュボードでテストの進行状況を監視し、完了時にクリーンアップし、結果に基づいてアクションを実行できます。テストする本番稼働用バリアントを選択すると、 SageMaker は新しいバリアントをシャドウモードで自動的にデプロイし、推論リクエストのコピーを同じエンドポイント内でリアルタイムでルーティングします。本番稼働用バリアントの応答のみが呼び出し元のアプリケーションに返されます。シャドウバリアントの応答を破棄するか、オフラインで比較できるようにログに残すかを選択できます。本番稼働用バリアントとシャドウバリアントの詳細については、「本番稼働のモデルを安全に検証」を参照してください。エンドポイントが「Exclusions」ページにリストされているいずれかの機能を使用している場合、シャドウテストは使用できないことに注意してください。

シャドウテストを作成する手順については、「シャドウテストを作成する」を参照してください。