스케일링 정책 정의

모델에 규모 조정 정책을 추가하기 전에 정책 구성을 텍스트 파일의 JSON 블록으로 저장하십시오. AWS Command Line Interface (AWS CLI) 또는 Application Auto API Scaling을 호출할 때 이 텍스트 파일을 사용합니다. 적절한 CloudWatch 지표를 선택하여 규모 조정을 최적화할 수 있습니다. 하지만 프로덕션 환경에서 커스텀 메트릭을 사용하기 전에 먼저 커스텀 메트릭으로 Auto Scaling을 테스트해야 합니다.

이 섹션에서는 대상 추적 조정 정책에 대한 예제 정책 구성을 보여줍니다.

사전 정의된 지표 (CloudWatch 지표: InvocationsPerInstance) 를 지정합니다.

다음은 인스턴스당 평균 호출을 70으로 유지하는 변형의 대상 추적 정책 구성 예제입니다. 이 구성을 config.json 파일에 저장합니다.

{
    "TargetValue": 70.0,
    "PredefinedMetricSpecification":
    {
        "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
    }
}

자세한 내용은 Application Auto Scaling API 참조를 참조하십시오 TargetTrackingScalingPolicyConfiguration.

미리 정의된 고해상도의 CloudWatch 지표 (지표: ConcurrentRequestsPerModel 및) 를 지정하십시오. ConcurrentRequestsPerCopy

다음과 같은 고해상도 CloudWatch 지표를 사용하여 모델이 받는 동시 요청 볼륨에 대한 조정 정책을 설정할 수 있습니다.

ConcurrentRequestsPerModel

모델 컨테이너가 수신하는 동시 요청 수.

ConcurrentRequestsPerCopy

추론 구성 요소가 수신한 동시 요청 수입니다.

이러한 지표는 컨테이너 내에 대기중인 요청을 포함하여 모델 컨테이너가 처리하는 동시 요청 수를 추적합니다. 추론 응답을 토큰 스트림으로 보내는 모델의 경우 이러한 지표는 모델이 요청에 대한 마지막 토큰을 보낼 때까지 각 요청을 추적합니다.

고해상도 지표이기 때문에 표준 지표보다 더 자주 데이터를 내보냅니다. CloudWatch 지표와 같은 표준 InvocationsPerInstance 지표는 1분에 한 번씩 데이터를 내보냅니다. 하지만 이러한 고해상도 지표는 10초마다 데이터를 내보냅니다. 따라서 모델에 대한 동시 트래픽이 증가하면 정책이 반응하여 표준 지표보다 훨씬 빠르게 규모를 축소합니다. 하지만 모델에 대한 트래픽이 감소하면 표준 지표와 동일한 속도로 정책이 확장됩니다.

다음은 모델당 동시 요청 수가 5개를 초과하는 경우 인스턴스를 추가하는 대상 추적 정책 구성의 예입니다. 이 구성을 config.json 파일에 저장합니다.

{
    "TargetValue": 5.0,
    "PredefinedMetricSpecification":
    {
        "PredefinedMetricType": "SageMakerVariantConcurrentRequestsPerModelHighResolution"
    }
}

추론 구성 요소를 사용하여 여러 모델을 동일한 엔드포인트에 배포하는 경우 동등한 정책을 생성할 수 있습니다. 이 경우 PredefinedMetricType 로 설정하십시오. SageMakerInferenceComponentConcurrentRequestsPerCopyHighResolution

자세한 내용은 Application Auto Scaling API 참조를 참조하십시오 TargetTrackingScalingPolicyConfiguration.

사용자 지정 지표 (CloudWatch지표:CPUUtilization) 를 정의합니다.

사용자 지정 지표로 대상 추적 조정 정책을 만들려면 지표의 이름, 네임스페이스, 단위, 통계 및 0개 이상의 차원을 지정합니다. 차원은 차원 이름과 차원 값으로 구성됩니다. 용량에 비례하여 변경되는 모든 생산 변형 지표를 사용할 수 있습니다.

다음 예제 구성은 사용자 지정 지표가 포함된 대상 추적 조정 정책을 보여줍니다. 정책은 모든 인스턴스의 평균 CPU 사용률 50% 를 기준으로 변형을 조정합니다. 이 구성을 config.json 파일에 저장합니다.

{
    "TargetValue": 50.0,
    "CustomizedMetricSpecification":
    {
        "MetricName": "CPUUtilization",
        "Namespace": "/aws/sagemaker/Endpoints",
        "Dimensions": [
            {"Name": "EndpointName", "Value": "my-endpoint" },
            {"Name": "VariantName","Value": "my-variant"}
        ],
        "Statistic": "Average",
        "Unit": "Percent"
    }
}

자세한 내용은 Application Auto Scaling API 참조를 참조하십시오 CustomizedMetricSpecification.

사용자 지정 지표 (CloudWatch 지표: ExplanationsPerInstance) 를 정의합니다.

엔드포인트에 온라인 설명 가능성이 활성화되면 엔드포인트는 변형에 대해 인스턴스당 설명되는 평균 레코드 수를 출력하는 ExplanationsPerInstance 지표를 내보냅니다. 레코드를 설명하는 데 사용되는 리소스 사용률은 레코드 예측의 리소스 사용률과 많이 다를 수 있습니다. 온라인 설명 가능성이 활성화된 엔드포인트의 대상 추적 스케일링에는 이 지표를 사용하는 것이 좋습니다.

확장 가능한 대상에 대해 여러 개의 대상 추적 정책을 생성할 수 있습니다. 사전 정의된 지표 (CloudWatch 지표: InvocationsPerInstance) 를 지정합니다.섹션의 InvocationsPerInstance 정책 (ExplanationsPerInstance정책 추가) 을 추가하는 것을 고려해 보세요. EnableExplanations파라미터에 설정된 임계값 때문에 대부분의 호출에서 설명이 반환되지 않는 경우 엔드포인트에서 InvocationsPerInstance 정책을 선택할 수 있습니다. 설명이 많은 경우 엔드포인트는 ExplanationsPerInstance 정책을 사용할 수 있습니다.

다음 예제 구성은 사용자 지정 지표가 포함된 대상 추적 조정 정책을 보여줍니다. 정책 규모는 각 인스턴스의 ExplanationsPerInstance 지표가 20이 되도록 변형 인스턴스의 수를 조정합니다. 이 구성을 config.json 파일에 저장합니다.

{
    "TargetValue": 20.0,
    "CustomizedMetricSpecification":
    {
        "MetricName": "ExplanationsPerInstance",
        "Namespace": "AWS/SageMaker",
        "Dimensions": [
            {"Name": "EndpointName", "Value": "my-endpoint" },
            {"Name": "VariantName","Value": "my-variant"}
        ],
        "Statistic": "Sum"
    }
}

자세한 내용은 Application Auto Scaling API 참조를 참조하십시오 CustomizedMetricSpecification.

휴지 기간을 지정하십시오.

선택적으로 ScaleOutCooldown 및 ScaleInCooldown 매개변수를 지정하여 대상 추적 조정 정책에서 휴지 기간을 정의할 수 있습니다.

다음은 인스턴스당 평균 호출을 70으로 유지하는 변형의 대상 추적 정책 구성 예시입니다. 정책 구성의 스케일 인 휴지 기간은 10분 (600초) 이고 스케일 아웃 휴지 기간은 5분 (300초) 입니다. 이 구성을 config.json 파일에 저장합니다.

{
    "TargetValue": 70.0,
    "PredefinedMetricSpecification":
    {
        "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
    },
    "ScaleInCooldown": 600,
    "ScaleOutCooldown": 300
}

자세한 내용은 Application Auto Scaling API 참조를 참조하십시오 TargetTrackingScalingPolicyConfiguration.