올앳원스 트래픽 시프팅

올앳원스 트래픽 시프팅을 이용하면 블루/그린 배포의 안전 가드레일을 사용하여 엔드포인트 업데이트를 신속하게 롤아웃할 수 있습니다. 이 트래픽 시프팅 옵션을 사용하면 블루/그린 배포의 가용성 보장을 계속 활용하면서 업데이트 기간을 최소화할 수 있습니다. 베이킹 기간 기능은 이전 인스턴스를 종료하기 전에 새 인스턴스의 성능과 기능을 모니터링하여 새 플릿이 제대로 작동하는지 확인할 수 있습니다.

다음 다이어그램은 올앳원스 트래픽 시프팅이 기존 플릿과 새 플릿을 관리하는 방법을 보여줍니다.

트래픽 시프팅을 한꺼번에 사용하는 경우 트래픽의 100% 를 새 플릿 (그린 플릿) 으로 SageMaker 라우팅합니다. 그린 플릿에 트래픽이 들어오기 시작하면 베이킹 기간이 시작됩니다. 베이킹 기간은 미리 지정된 Amazon CloudWatch 알람이 그린 플릿의 성능을 모니터링하는 정해진 시간입니다. 베이킹 기간 동안 경보가 울리지 않으면 기존 플릿 (파란색 플릿) 이 SageMaker 종료됩니다. 베이킹 기간 중에 경보가 발생하면 자동 롤백이 시작되고 트래픽의 100% 가 다시 블루 플릿으로 이동합니다.

필수 조건

트래픽이 한꺼번에 이동하는 배포를 설정하기 전에 Amazon CloudWatch 경보를 생성하여 엔드포인트에서 지표를 관찰해야 합니다. 베이킹 기간 중에 경보가 하나라도 발생하면 트래픽이 블루 플릿으로 롤백됩니다. 엔드포인트에서 CloudWatch 경보를 설정하는 방법을 알아보려면 사전 요구 사항 페이지를 참조하십시오. 자동 롤백 구성 및 모니터링 CloudWatch 경보에 대한 자세한 내용은 Amazon 사용 CloudWatch 설명서의 Amazon CloudWatch 경보 사용을 참조하십시오.

올앳원스 트래픽 시프팅 구성

배포할 준비가 되고 엔드포인트에 대한 CloudWatch 경보를 설정한 후에는 의 SageMaker UpdateEndpointAPI 또는 update-endpoint 명령을 사용하여 배포를 시작할 수 있습니다. AWS Command Line Interface

엔드포인트를 업데이트하는 방법(API)

다음 예는 Amazon SageMaker API를 사용하여 UpdateEndpoint트래픽 이동을 한꺼번에 처리하여 엔드포인트를 업데이트하는 방법을 보여줍니다.

import boto3
client = boto3.client("sagemaker")

response = client.update_endpoint(
    EndpointName="<your-endpoint-name>",
    EndpointConfigName="<your-config-name>",
    DeploymentConfig={
        "BlueGreenUpdatePolicy": {
            "TrafficRoutingConfiguration": {
                "Type": "ALL_AT_ONCE"
            },
            "TerminationWaitInSeconds": 600,
            "MaximumExecutionTimeoutInSeconds": 1800
        },
        "AutoRollbackConfiguration": {
            "Alarms": [
                {
                    "AlarmName": "<your-cw-alarm>"
                },
            ]
        }
    }
)

올앳원스 트래픽 시프팅 옵션을 구성하려면 다음을 수행합니다.

• EndpointName의 경우 업데이트할 기존 엔드포인트의 이름을 사용합니다.

• EndpointConfigName에는 사용할 엔드포인트 구성 이름을 사용합니다.

• DeploymentConfig 및 BlueGreenUpdatePolicy의 TrafficRoutingConfiguration에서 Type 파라미터를 ALL_AT_ONCE로 설정합니다. 이렇게 지정하면 배포가 올앳원스 트래픽 시프팅 모드를 사용하게 됩니다.

• TerminationWaitInSeconds에는 600을 사용합니다. 이 파라미터는 그린 플릿이 완전히 활성화된 후 지정된 시간 (초) SageMaker 까지 기다렸다가 블루 플릿의 인스턴스를 종료하도록 지시합니다. 이 예시에서는 최종 베이킹 기간이 지난 후 10분간 SageMaker 기다린 후 블루 플릿을 종료합니다.

• MaximumExecutionTimeoutInSeconds에는 1800을 사용합니다. 이 파라미터는 시간이 초과되기 전에 배포를 실행할 수 있는 최대 시간을 설정합니다. 위 예제에서는 배포를 완료하는 데 걸리는 시간이 30분으로 제한되어 있습니다.

• AutoRollbackConfiguration에서는 Alarms 필드 내에서 이름별로 CloudWatch 알람을 추가할 수 있습니다. 사용하려는 각 알람에 대해 AlarmName: <your-cw-alarm> 항목을 하나씩 생성합니다.

기존의 블루/그린 업데이트 정책(API)으로 엔드포인트를 업데이트하는 방법

CreateEndpointAPI를 사용하여 엔드포인트를 생성할 때 향후 엔드포인트 업데이트에 재사용할 배포 구성을 선택적으로 지정할 수 있습니다. 이전 UpdateEndpoint API 예제와 동일한 DeploymentConfig 옵션을 사용할 수 있습니다. CreateEndpoint API 동작에는 변경 사항이 없습니다. 배포 구성을 지정해도 엔드포인트에서 블루/그린 업데이트가 자동으로 수행되지는 않습니다.

이전 배포 구성을 사용하는 옵션은 UpdateEndpointAPI를 사용하여 엔드포인트를 업데이트할 때 발생합니다. 엔드포인트를 업데이트할 때 RetainDeploymentConfig 옵션을 사용하여 엔드포인트를 생성할 때 지정한 배포 구성을 유지할 수 있습니다.

UpdateEndpointAPI를 호출할 때는 원래 엔드포인트 구성의 DeploymentConfig 옵션을 RetainDeploymentConfig True 유지하도록 로 설정하십시오.

response = client.update_endpoint(
    EndpointName="<your-endpoint-name>",
    EndpointConfigName="<your-config-name>",
    RetainDeploymentConfig=True
)

엔드포인트를 업데이트하는 방법(CLI)

를 사용하는 경우 다음 예제는 update-endpoint 명령을 사용하여 블루/그린 배포를 한 번에 시작하는 방법을 보여줍니다. AWS CLI

update-endpoint
--endpoint-name <your-endpoint-name> 
--endpoint-config-name <your-config-name> 
--deployment-config '"BlueGreenUpdatePolicy": {"TrafficRoutingConfiguration": {"Type": "ALL_AT_ONCE"},
    "TerminationWaitInSeconds": 600, "MaximumExecutionTimeoutInSeconds": 1800},
    "AutoRollbackConfiguration": {"Alarms": [{"AlarmName": "<your-alarm>"}]}'

올앳원스 트래픽 시프팅 옵션을 구성하려면 다음을 수행합니다.

• endpoint-name에는 업데이트할 엔드포인트의 이름을 사용합니다.

• endpoint-config-name에는 사용할 엔드포인트 구성 이름을 사용합니다.

• 의 deployment-config 경우 JSON 객체를 사용하십시오. BlueGreenUpdatePolicy

참고

JSON 객체를 파일로 저장하려면 사용 안내서의 AWS CLI 스켈레톤 및 입력 매개변수 생성을 참조하십시오.AWS CLI