조정 정책 정의

모델에 규모 조정 정책을 추가하기 전에 정책 구성을 텍스트 파일의 JSON 블록으로 저장하십시오. AWS Command Line Interface(AWS CLI) 또는 Application Auto Scaling API를 호출할 때 이 텍스트 파일을 사용합니다. 적절한 CloudWatch 지표를 선택하여 규모 조정을 최적화할 수 있습니다. 하지만 프로덕션 환경에서 커스텀 메트릭을 사용하기 전에 먼저 커스텀 메트릭으로 Auto Scaling을 테스트해야 합니다.

이 섹션에서는 대상 추적 조정 정책에 대한 예제 정책 구성을 보여줍니다.

사전 정의된 지표 (CloudWatch 지표: InvocationsPerInstance) 를 지정합니다.

다음은 인스턴스당 평균 호출을 70으로 유지하는 변형의 대상 추적 정책 구성 예제입니다. 이 구성을 config.json 파일에 저장합니다.

{
    "TargetValue": 70.0,
    "PredefinedMetricSpecification":
    {
        "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
    }
}

자세한 내용은 Application Auto Scaling API 레퍼런스를 참조하십시오 TargetTrackingScalingPolicyConfiguration.

사용자 지정 지표 (CloudWatch지표: CPU 사용률) 를 정의합니다.

사용자 지정 지표로 대상 추적 조정 정책을 만들려면 지표의 이름, 네임스페이스, 단위, 통계 및 0개 이상의 차원을 지정합니다. 차원은 차원 이름과 차원 값으로 구성됩니다. 용량에 비례하여 변경되는 모든 생산 변형 지표를 사용할 수 있습니다.

다음 예제 구성은 사용자 지정 지표가 포함된 대상 추적 조정 정책을 보여줍니다. 정책은 모든 인스턴스의 평균 CPU 사용률 50% 를 기준으로 변형을 조정합니다. 이 구성을 config.json 파일에 저장합니다.

{
    "TargetValue": 50.0,
    "CustomizedMetricSpecification":
    {
        "MetricName": "CPUUtilization",
        "Namespace": "/aws/sagemaker/Endpoints",
        "Dimensions": [
            {"Name": "EndpointName", "Value": "my-endpoint" },
            {"Name": "VariantName","Value": "my-variant"}
        ],
        "Statistic": "Average",
        "Unit": "Percent"
    }
}

자세한 내용은 Application Auto Scaling API 레퍼런스를 참조하십시오 CustomizedMetricSpecification.

사용자 지정 지표 (CloudWatch 지표: ExplanationsPerInstance) 를 정의합니다.

엔드포인트에 온라인 설명 가능성이 활성화되면 엔드포인트는 변형에 대해 인스턴스당 설명되는 평균 레코드 수를 출력하는 ExplanationsPerInstance 지표를 내보냅니다. 레코드를 설명하는 데 사용되는 리소스 사용률은 레코드 예측의 리소스 사용률과 많이 다를 수 있습니다. 온라인 설명 가능성이 활성화된 엔드포인트의 대상 추적 스케일링에는 이 지표를 사용하는 것이 좋습니다.

확장 가능한 대상에 대해 여러 개의 대상 추적 정책을 생성할 수 있습니다. 사전 정의된 지표 (CloudWatch 지표: InvocationsPerInstance) 를 지정합니다.섹션의 InvocationsPerInstance 정책 (ExplanationsPerInstance정책 추가) 을 추가하는 것을 고려해 보세요. EnableExplanations파라미터에 설정된 임계값 때문에 대부분의 호출에서 설명이 반환되지 않는 경우 엔드포인트에서 InvocationsPerInstance 정책을 선택할 수 있습니다. 설명이 많은 경우 엔드포인트는 ExplanationsPerInstance 정책을 사용할 수 있습니다.

다음 예제 구성은 사용자 지정 지표를 사용한 대상 추적 조정 정책을 보여줍니다. 정책 규모는 각 인스턴스의 ExplanationsPerInstance 지표가 20이 되도록 변형 인스턴스의 수를 조정합니다. 이 구성을 config.json 파일에 저장합니다.

{
    "TargetValue": 20.0,
    "CustomizedMetricSpecification":
    {
        "MetricName": "ExplanationsPerInstance",
        "Namespace": "AWS/SageMaker",
        "Dimensions": [
            {"Name": "EndpointName", "Value": "my-endpoint" },
            {"Name": "VariantName","Value": "my-variant"}
        ],
        "Statistic": "Sum"
    }
}

자세한 내용은 Application Auto Scaling API 레퍼런스를 참조하십시오 CustomizedMetricSpecification.

휴지 기간을 지정하십시오.

선택적으로 ScaleOutCooldown 및 ScaleInCooldown 매개변수를 지정하여 대상 추적 조정 정책에서 휴지 기간을 정의할 수 있습니다.

다음은 인스턴스당 평균 호출을 70으로 유지하는 변형의 대상 추적 정책 구성 예시입니다. 정책 구성의 스케일 인 휴지 기간은 10분 (600초) 이고 스케일 아웃 휴지 기간은 5분 (300초) 입니다. 이 구성을 config.json 파일에 저장합니다.

{
    "TargetValue": 70.0,
    "PredefinedMetricSpecification":
    {
        "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
    },
    "ScaleInCooldown": 600,
    "ScaleOutCooldown": 300
}

자세한 내용은 Application Auto Scaling API 레퍼런스를 참조하십시오 TargetTrackingScalingPolicyConfiguration.