조정 정책 정의 - 아마존 SageMaker

문서의 영문과 번역 사이에 충돌이 있는 경우에는 영문 버전을 따릅니다. 번역 버전은 기계 번역을 사용하여 제공합니다.

조정 정책 정의

확장 정책에 대한 메트릭 및 대상 값을 지정하려면 대상 추적 확장 정책. 다음을 사용할 수 있습니다. 미리 정의된 메트릭 또는 사용자 지정 메트릭 중 하나.

스케일링 정책 구성은 JSON 블록으로 표시됩니다.. 텍스트 파일에 JSON 블록으로 조정 정책 구성을 저장합니다. AWS CLI 또는 Application Auto Scaling API를 호출할 때 이 텍스트 파일을 사용합니다. 정책 구성 구문에 대한 자세한 내용은 을 참조하십시오. TargetTrackingScalingPolicyConfiguration 에서 애플리케이션 자동 스케일링 API 레퍼런스.

대상 추적 조정 정책 구성을 정의하기 위해 다음과 같은 옵션을 사용할 수 있습니다.

사전 정의된 지표 사용

변형에 대한 타겟 추적 확장 정책을 빠르게 정의하려면 SageMakerVariantInvocationsPerInstance 미리 정의된 메트릭. SageMakerVariantInvocationsPerInstance 은 변종에 대한 각 인스턴스가 호출되는 분당 평균 횟수입니다. 이 메트릭 을(를) 사용하는 것이 좋습니다.

조정 정책에서 미리 정의된 지표를 사용하려면 정책을 위한 대상 추적 구성을 생성합니다. 대상 추적 구성에서 사전 정의된 지표에 대해 PredefinedMetricSpecification을, 지표의 대상 값에 대해 TargetValue를 포함시켜야 합니다.

다음 예제는 변형의 대상 추적 조정을 위한 일반적인 정책 구성입니다. 이 구성에서 사전 정의된 지표인 SageMakerVariantInvocationsPerInstance를 사용하여 각 인스턴스의 InvocationsPerInstance 지표가 70이 되도록 변형 인스턴스의 수를 조정합니다.

{ "TargetValue": 70.0, "PredefinedMetricSpecification": { "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance" } }

사용자 지정 지표 사용

사용자 지정 요구 사항을 충족하는 대상 추적 조정 정책을 정의해야 하는 경우 사용자 지정 지표를 정의합니다. 다음을 기반으로 사용자정의 메트릭을 정의할 수 있습니다. 배율에 비례하여 변경되는 모든 생산 변형 메트릭.

모두 아님 SageMaker 메트릭 은(는) 대상 추적을 위해 작업합니다. 지표는 유효한 사용량 수치로서 인스턴스의 사용량을 설명해야 합니다. 변형 인스턴스 수에 따라 역으로 지표 값이 증가하거나 줄어들어야 합니다. 다시 말해 인스턴스의 수가 증가하면 지표의 값은 감소해야 합니다.

중요

프로덕션에서 자동 조정을 배포하기 전에 사용자 지표를 사용하여 자동 조정을 테스트해야 합니다.

다음 예제는 조정 정책의 대상 추적 구성입니다. 이 구성에서 my-variant라는 변수에 대해 사용자 지정 지표는 모든 인스턴스에 걸친 50%의 평균 CPU 사용률을 기반으로 변수를 조정합니다.

{ "TargetValue": 50, "CustomizedMetricSpecification": { "MetricName": "CPUUtilization", "Namespace": "/aws/sagemaker/Endpoints", "Dimensions": [ {"Name": "EndpointName", "Value": "my-endpoint" }, {"Name": "VariantName","Value": "my-variant"} ], "Statistic": "Average", "Unit": "Percent" } }

쿨다운 기간 추가

모델 스케일 아웃을 위한 쿨다운 기간을 추가하려면 ScaleOutCooldown. 마찬가지로, 모델을 확장하기 위한 재사용 대기시간을 추가하려면 ScaleInCooldown. 에 대한 추가 정보 ScaleInCooldownScaleOutCooldown, 참조 TargetTrackingScalingPolicyConfiguration 에서 애플리케이션 자동 스케일링 API 레퍼런스.

다음은 조정 정책에 대한 대상 추적 구성의 예제입니다. 이 구성에서 SageMakerVariantInvocationsPerInstance 사전 정의된 메트릭은 70개 을 선택합니다. 구성에서는 스케일 인 휴지 기간 10분과 스케일 아웃 휴지 기간 5분을 제공합니다.

{ "TargetValue": 70.0, "PredefinedMetricSpecification": { "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance" }, "ScaleInCooldown": 600, "ScaleOutCooldown": 300 }