自動スケーリング設定の負荷テスト

ロードテストを実行して、希望どおりに機能するスケーリング設定を選択します。

負荷テストの次のガイドラインは、事前定義されたターゲットメトリクス を使用するスケーリングポリシーを使用していることを前提としていますSageMakerVariantInvocationsPerInstance。

パフォーマンス特性を明確にする

負荷テストを実行し、モデルの本番稼働用バリアントが処理できる InvocationsPerInstance のピーク、および同時実行数の増加に伴うリクエストのレイテンシーを探し出します。

この値は選択したインスタンスタイプ、モデルのクライアントが通常送信するペイロード、モデルのすべての外部依存関係のパフォーマンスに依存します。

モデルの本番稼働用バリアントが処理できるピーク requests-per-second （RPS) とリクエストのレイテンシーを見つけるには

1. 単一のインスタンスを使用してモデルにエンドポイントを設定します。エンドポイントの設定方法の詳細については、「 SageMaker ホスティングサービスへのモデルのデプロイ」を参照してください。

2. 負荷テストツールを使用して並列リクエストの数を増やし、負荷テストツールから外れて RPS および モデルのレイテンシーをモニタリングします。

   注記

   requests-per-minute の代わりに をモニタリングすることもできますRPS。その場合、式に 60 を乗算して以下に示す SageMakerVariantInvocationsPerInstance を計算しないでください。

   モデルのレイテンシーが増加したり、成功したトランザクションの割合が低下したりすると、モデルRPSが処理できるピークになります。

ターゲットの負荷を計算する

バリアントのパフォーマンス特性がわRPSかったら、インスタンスへの送信を許可する最大値を決定できます。スケーリングに使用されるしきい値はこの最大値より小さくする必要があります。次の式を負荷テストと組み合わせて使用して、スケーリング設定のSageMakerVariantInvocationsPerInstanceターゲットメトリクスの正しい値を決定します。

SageMakerVariantInvocationsPerInstance = (MAX_RPS * SAFETY_FACTOR) * 60

ここで、 MAX_RPSは以前に決定RPSした最大値であり、 SAFETY_FACTORはクライアントが最大 を超えないように選択した安全係数ですRPS。60 を乗算RPSして、 が自動スケーリングの実装 SageMaker に使用する分単位の CloudWatch メトリクスと一致する invocations-per-minute ように から に変換します ( requests-per-minute の代わりに を測定した場合は、これを行う必要はありません requests-per-second）。

注記

SageMaker では、0.5 SAFETY_FACTORの でテストを開始することを推奨しています。スケーリング設定をテストして、エンドポイントのカスタマートラフィックを増減するモデルで期待どおりに動作することを確認します。