Aplicar una política de escalado

Después de registrar el modelo y definir una política de escalado, aplíquela al modelo registrado. En esta sección se muestra cómo aplicar una política de escalado mediante AWS Command Line Interface (AWS CLI) o la API Application Auto Scaling.

Aplique una política de escalado y seguimiento de objetivos (AWS CLI)

Para aplicar una política de escalado a su modelo, utilice el put-scaling-policy AWS CLI comando con los siguientes parámetros:

• --policy-name: el nombre de la política de escalado.

• --policy-type: establezca este valor en TargetTrackingScaling.

• --resource-id: el identificador de recurso para la variante. Para este parámetro, el tipo de recurso es endpoint y el identificador único es el nombre de la variante. Por ejemplo, endpoint/my-endpoint/variant/my-variant.

• --service-namespace: establezca este valor en sagemaker.

• --scalable-dimension: establezca este valor en sagemaker:variant:DesiredInstanceCount.

• --target-tracking-scaling-policy-configuration—La configuración de la política de escalado de seguimiento de objetivos que se utilizará en el modelo.

En el siguiente ejemplo, se aplica una política de escalado de seguimiento de objetivos denominada my-scaling-policy a una variante denominadamy-variant, que se ejecuta en el my-endpoint punto final. Para la --target-tracking-scaling-policy-configuration opción, especifique el config.json archivo que creó anteriormente.

aws application-autoscaling put-scaling-policy \
  --policy-name my-scaling-policy \
  --policy-type TargetTrackingScaling \
  --resource-id endpoint/my-endpoint/variant/my-variant \
  --service-namespace sagemaker \
  --scalable-dimension sagemaker:variant:DesiredInstanceCount \
  --target-tracking-scaling-policy-configuration file://config.json

Aplicación de una política de escalado (API de Application Auto Scaling)

Para aplicar una política de escalado a una variante con la API Application Auto Scaling, utilice la acción PutScalingPolicyApplication Auto Scaling API con los siguientes parámetros:

• PolicyName: el nombre de la política de escalado.

• ServiceNamespace: establezca este valor en sagemaker.

• ResourceID: el identificador de recurso para la variante. Para este parámetro, el tipo de recurso es endpoint y el identificador único es el nombre de la variante. Por ejemplo, endpoint/my-endpoint/variant/my-variant.

• ScalableDimension: establezca este valor en sagemaker:variant:DesiredInstanceCount.

• PolicyType: establezca este valor en TargetTrackingScaling.

• TargetTrackingScalingPolicyConfiguration: configuración de la política de escalado de seguimiento de objetivos que se usará para la variante.

En el siguiente ejemplo, se aplica una política de escalado de seguimiento de objetivos denominada my-scaling-policy a una variante denominadamy-variant, que se ejecuta en el my-endpoint punto final. La configuración de la política mantiene el promedio de invocaciones por instancia en 70.

POST / HTTP/1.1
Host: application-autoscaling.us-east-2.amazonaws.com
Accept-Encoding: identity
X-Amz-Target: AnyScaleFrontendService.
X-Amz-Date: 20230506T182145Z
User-Agent: aws-cli/2.0.0 Python/3.7.5 Windows/10 botocore/2.0.0dev4
Content-Type: application/x-amz-json-1.1
Authorization: AUTHPARAMS

{
    "PolicyName": "my-scaling-policy",
    "ServiceNamespace": "sagemaker",
    "ResourceId": "endpoint/my-endpoint/variant/my-variant",
    "ScalableDimension": "sagemaker:variant:DesiredInstanceCount",
    "PolicyType": "TargetTrackingScaling",
    "TargetTrackingScalingPolicyConfiguration": {
        "TargetValue": 70.0,
        "PredefinedMetricSpecification":
        {
            "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
        }
    }
}