スケーリングポリシーを適用する

モデルを登録し、スケーリングポリシーを定義したら、登録されたモデルにスケーリングポリシーを適用します。このセクションでは、 AWS Command Line Interface （AWS CLI) または Application Auto Scaling API を使用してスケーリングポリシーを適用する方法を示します。

ターゲット追跡スケーリングポリシーを適用する (AWS CLI）

モデルにスケーリングポリシーを適用するには、以下のパラメータを指定して put-scaling-policy AWS CLI コマンドを使用します。

• --policy-name - スケーリングポリシーの名前。

• --policy-type - この値は TargetTrackingScaling に設定します。

• --resource-id - バリアントのリソース識別子。このパラメータでは、リソースタイプは endpoint で、一意の識別子はバリアントの名前です。例えば endpoint/my-endpoint/variant/my-variant です。

• --service-namespace - この値は sagemaker に設定します。

• --scalable-dimension - この値は sagemaker:variant:DesiredInstanceCount に設定します。

• --target-tracking-scaling-policy-configuration— モデルに使用するターゲット追跡スケーリングポリシー構成。

次の例では、 というターゲット追跡スケーリングポリシーmy-scaling-policyをmy-variant、 my-endpointエンドポイントで実行されている という名前のバリアントに適用します。--target-tracking-scaling-policy-configuration オプションには、前に作成した config.json ファイルを指定します。

aws application-autoscaling put-scaling-policy \
  --policy-name my-scaling-policy \
  --policy-type TargetTrackingScaling \
  --resource-id endpoint/my-endpoint/variant/my-variant \
  --service-namespace sagemaker \
  --scalable-dimension sagemaker:variant:DesiredInstanceCount \
  --target-tracking-scaling-policy-configuration file://config.json

スケーリングポリシーを適用する (Application Auto Scaling API)

Application Auto Scaling API を使用してスケーリングポリシーをバリアントに適用するには、次のパラメータを指定して PutScalingPolicy Application Auto Scaling API オペレーションを使用します。

• PolicyName - スケーリングポリシーの名前。

• ServiceNamespace - この値は sagemaker に設定します。

• ResourceID - バリアントのリソース識別子。このパラメータでは、リソースタイプは endpoint で、一意の識別子はバリアントの名前です。例えば endpoint/my-endpoint/variant/my-variant です。

• ScalableDimension - この値は sagemaker:variant:DesiredInstanceCount に設定します。

• PolicyType - この値は TargetTrackingScaling に設定します。

• TargetTrackingScalingPolicyConfiguration - バリアントに使用するターゲット追跡スケーリングポリシー設定。

次の例では、 というターゲット追跡スケーリングポリシーmy-scaling-policyをmy-variant、 my-endpointエンドポイントで実行されている という名前のバリアントに適用します。ポリシー設定では、インスタンスあたりの平均呼び出し回数は 70 のままです。

POST / HTTP/1.1
Host: application-autoscaling.us-east-2.amazonaws.com
Accept-Encoding: identity
X-Amz-Target: AnyScaleFrontendService.
X-Amz-Date: 20230506T182145Z
User-Agent: aws-cli/2.0.0 Python/3.7.5 Windows/10 botocore/2.0.0dev4
Content-Type: application/x-amz-json-1.1
Authorization: AUTHPARAMS

{
    "PolicyName": "my-scaling-policy",
    "ServiceNamespace": "sagemaker",
    "ResourceId": "endpoint/my-endpoint/variant/my-variant",
    "ScalableDimension": "sagemaker:variant:DesiredInstanceCount",
    "PolicyType": "TargetTrackingScaling",
    "TargetTrackingScalingPolicyConfiguration": {
        "TargetValue": 70.0,
        "PredefinedMetricSpecification":
        {
            "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
        }
    }
}