Application d'une stratégie de mise à l'échelle

Après avoir enregistré votre modèle et défini une politique de dimensionnement, appliquez la politique de dimensionnement au modèle enregistré. Cette section explique comment appliquer une politique de dimensionnement à l'aide de l'API AWS Command Line Interface (AWS CLI) ou Application Auto Scaling.

Appliquer une politique de dimensionnement du suivi des cibles (AWS CLI)

Pour appliquer une stratégie de mise à l'échelle à votre modèle, utilisez la commande put-scaling-policy de laAWS CLI avec les paramètres suivants :

• --policy-nameNom de la stratégie de mise à l'échelle.

• --policy-type-Définissez cette valeur sur TargetTrackingScaling.

• --resource-id- L'identifiant de la ressource pour la variante. Pour ce paramètre, le type de ressource est endpoint et l'identifiant unique est le nom de la variante. Par exemple, endpoint/my-endpoint/variant/my-variant.

• --service-namespace-Définissez cette valeur sur sagemaker.

• --scalable-dimension-Définissez cette valeur sur sagemaker:variant:DesiredInstanceCount.

• --target-tracking-scaling-policy-configuration: configuration de la politique de dimensionnement du suivi des cibles à utiliser pour le modèle.

L'exemple suivant applique une politique de dimensionnement du suivi des cibles nommée my-scaling-policy à une variante nomméemy-variant, exécutée sur le my-endpoint point de terminaison. Pour l'--target-tracking-scaling-policy-configurationoption, spécifiez le config.json fichier que vous avez créé précédemment.

aws application-autoscaling put-scaling-policy \
  --policy-name my-scaling-policy \
  --policy-type TargetTrackingScaling \
  --resource-id endpoint/my-endpoint/variant/my-variant \
  --service-namespace sagemaker \
  --scalable-dimension sagemaker:variant:DesiredInstanceCount \
  --target-tracking-scaling-policy-configuration file://config.json

Application d'une stratégie de mise à l'échelle (API Application Auto Scaling)

Pour appliquer une stratégie de mise à l'échelle à une variante à l'aide de l'API Application Auto Scaling, utilisez l'opération d'API Application Auto Scaling PutScalingPolicy avec les paramètres suivants :

• PolicyName- Le nom de la stratégie de mise à l'échelle.

• ServiceNamespace-Définissez cette valeur sur sagemaker.

• ResourceID- L'identifiant de la ressource pour la variante. Pour ce paramètre, le type de ressource est endpoint et l'identifiant unique est le nom de la variante. Par exemple, endpoint/my-endpoint/variant/my-variant.

• ScalableDimension-Définissez cette valeur sur sagemaker:variant:DesiredInstanceCount.

• PolicyType-Définissez cette valeur sur TargetTrackingScaling.

• TargetTrackingScalingPolicyConfiguration : la configuration de la politique de mise à l'échelle avec suivi des cibles à utiliser pour la variante.

L'exemple suivant applique une politique de dimensionnement du suivi des cibles nommée my-scaling-policy à une variante nomméemy-variant, exécutée sur le my-endpoint point de terminaison. La configuration de la politique maintient le nombre moyen d'appels par instance à 70.

POST / HTTP/1.1
Host: application-autoscaling.us-east-2.amazonaws.com
Accept-Encoding: identity
X-Amz-Target: AnyScaleFrontendService.
X-Amz-Date: 20230506T182145Z
User-Agent: aws-cli/2.0.0 Python/3.7.5 Windows/10 botocore/2.0.0dev4
Content-Type: application/x-amz-json-1.1
Authorization: AUTHPARAMS

{
    "PolicyName": "my-scaling-policy",
    "ServiceNamespace": "sagemaker",
    "ResourceId": "endpoint/my-endpoint/variant/my-variant",
    "ScalableDimension": "sagemaker:variant:DesiredInstanceCount",
    "PolicyType": "TargetTrackingScaling",
    "TargetTrackingScalingPolicyConfiguration": {
        "TargetValue": 70.0,
        "PredefinedMetricSpecification":
        {
            "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
        }
    }
}