모델 등록

모델에 조정 정책을 추가하기 전에 먼저 Auto Scaling을 위해 모델을 등록하고 모델에 대한 조정 제한을 정의해야 합니다.

다음 절차는 () 또는 Application Auto Scaling API를 사용하여 자동 크기 조정을 위해 모델 AWS Command Line Interface (생산 변형AWS CLI) 을 등록하는 방법을 설명합니다.

모델 등록(AWS CLI)

프로덕션 변형을 등록하려면 register-scalable-target명령을 다음 매개변수와 함께 사용하십시오.

• --service-namespace—이 값을 sagemaker로 설정하십시오.

• --resource-id—모델(특히 프로덕션 변형)의 리소스 식별자입니다. 이 파라미터에서 리소스 유형은 endpoint이고 고유 식별자는 프로덕션 변형의 이름입니다. 예를 들어 endpoint/my-endpoint/variant/my-variant입니다.

• --scalable-dimension—이 값을 sagemaker:variant:DesiredInstanceCount로 설정하십시오.

• --min-capacity—최소 인스턴스 수. 이 값은 최소 1로 설정되어야 하며 max-capacity에 지정된 값과 같거나 작아야 합니다.

• --max-capacity—최대 인스턴스 수. 이 값은 최소 1로 설정되어야 하며 min-capacity에 지정된 값과 같거나 커야 합니다.

다음 예제는 my-endpoint 엔드포인트에서 실행되는 이름을 가진 my-variant 변형을 등록하는 방법을 보여줍니다. 이 변형은 1~8개의 인스턴스를 포함하도록 동적으로 확장할 수 있습니다.

aws application-autoscaling register-scalable-target \
  --service-namespace sagemaker \
  --resource-id endpoint/my-endpoint/variant/my-variant \
  --scalable-dimension sagemaker:variant:DesiredInstanceCount \
  --min-capacity 1 \
  --max-capacity 8

모델 등록(Application Auto Scaling API)

Application Auto Scaling로 모델을 등록하려면, 다음 파라미터와 함께 RegisterScalableTarget Application Auto Scaling API 작업을 사용하십시오.

• ServiceNamespace—이 값을 sagemaker로 설정하십시오.

• ResourceID—프로덕션 변형의 리소스 식별자입니다. 이 파라미터에서 리소스 유형은 endpoint이고 고유 식별자는 변형의 이름입니다. 예를 들어 endpoint/my-endpoint/variant/my-variant입니다.

• ScalableDimension—이 값을 sagemaker:variant:DesiredInstanceCount로 설정하십시오.

• MinCapacity—최소 인스턴스 수. 이 값은 최소 1로 설정되어야 하며 MaxCapacity에 지정된 값과 같거나 작아야 합니다.

• MaxCapacity—최대 인스턴스 수. 이 값은 최소 1로 설정되어야 하며 MinCapacity에 지정된 값과 같거나 커야 합니다.

다음 예제는 my-endpoint 엔드포인트에서 실행되는 이름을 가진 my-variant 변형을 등록하는 방법을 보여줍니다. 이 변형은 1~8개의 인스턴스를 사용하도록 동적으로 확장할 수 있습니다.

POST / HTTP/1.1
Host: application-autoscaling.us-east-2.amazonaws.com
Accept-Encoding: identity
X-Amz-Target: AnyScaleFrontendService.RegisterScalableTarget
X-Amz-Date: 20230506T182145Z
User-Agent: aws-cli/2.0.0 Python/3.7.5 Windows/10 botocore/2.0.0dev4
Content-Type: application/x-amz-json-1.1
Authorization: AUTHPARAMS

{
    "ServiceNamespace": "sagemaker",
    "ResourceId": "endpoint/my-endpoint/variant/my-variant",
    "ScalableDimension": "sagemaker:variant:DesiredInstanceCount",
    "MinCapacity": 1,
    "MaxCapacity": 8
}