ベストプラクティス

推論実験を作成するときは、次の情報に注意してください。

• トラフィックサンプリング率 — 推論リクエストを 100% サンプリングすることで、シャドウバリアントが昇格時に本番稼働トラフィックを処理できることを検証できます。最初は低いトラフィックサンプリング率から始め、バリアントの信頼性を高めることができたら徐々に増やすこともできますが、昇格前にトラフィックを 100% まで確実に増やすことがベストプラクティスです。

• インスタンスタイプ — シャドウバリアントを使用して代替インスタンスタイプまたはサイズを評価する場合を除き、同じインスタンスタイプ、サイズ、数を使用することをお勧めします。これにより、昇格した後にシャドウバリアントが大量の推論リクエストを確実に処理できるようになります。

• 自動スケーリング — シャドウバリアントが推論リクエスト数の急増や推論リクエストパターンの変化に確実に対応できるようにするには、シャドウバリアントに自動スケーリングを設定することを強くお勧めします。自動スケーリングの設定方法の詳細については、「Amazon SageMaker モデルの自動スケーリング」を参照してください。自動スケーリングを設定している場合は、ユーザーに影響を与えることなく、自動スケーリングポリシーの変更を検証することもできます。

• メトリクスのモニタリング — シャドウ実験を開始して十分な呼び出しが行われた後、メトリクスダッシュボードをモニタリングして、レイテンシーやエラー率などのメトリクスが許容範囲内であることを確認します。これにより、設定ミスを早期に発見し、是正措置を講じることができます。進行中の推論実験のメトリクスをモニタリングする方法の詳細については、「シャドウテストを表示、モニタリング、編集する方法」を参照してください。