를 사용한 짧은 지연 시간 실시간 추론 AWS PrivateLink

Amazon SageMaker AI는 다중 AZ 배포를 사용하여 고가용성 및 복원력을 유지하면서 실시간 추론에 대해 짧은 지연 시간을 제공합니다. 애플리케이션 지연 시간은 두 가지 기본 구성 요소 인프라 또는 오버헤드 지연 시간 및 모델 추론 지연 시간으로 구성됩니다. 오버헤드 지연 시간을 줄이면 더 복잡하고 깊고 정확한 모델을 배포하거나 모놀리식 애플리케이션을 확장 가능하고 유지 관리 가능한 마이크로서비스 모듈로 분할하는 등의 새로운 가능성이 열립니다. 배포를 사용하여 SageMaker AI를 사용하여 실시간 추론의 지연 시간을 줄일 수 있습니다 AWS PrivateLink . 를 사용하면 인터페이스 VPC 엔드포인트를 사용하여 확장 가능한 방식으로 Virtual Private Cloud(VPC)에서 모든 SageMaker API 작업에 비공개로 액세스할 AWS PrivateLink수 있습니다. 인터페이스 VPC 엔드포인트는 모든 SageMaker API 직접 호출에 대한 진입점 역할을 하는 프라이빗 IP 주소를 가진 서브넷의 탄력적 네트워크 인터페이스입니다.

기본적으로 인스턴스가 2개 이상인 SageMaker AI 엔드포인트는 최소 2개의 AWS 가용 영역(AZs)에 배포되며 모든 AZ의 인스턴스는 호출을 처리할 수 있습니다. 이로 인해 오버헤드 지연 시간에 영향을 주는 AZ “홉”이 하나 이상 발생합니다. AWS PrivateLink 을(를) privateDNSEnabled 옵션과 함께 true(으)로 설정하면 두 가지 목표를 달성함으로써 이 문제를 완화할 수 있습니다.

• 그러면 모든 추론 트래픽을 VPC 내에 보관합니다.

• SageMaker Runtime 사용 시 트래픽을 생성한 클라이언트와 동일한 AZ에 간접 호출 트래픽을 유지합니다. 이렇게 하면 AZ 간의 “홉”을 방지하여 오버헤드 지연 시간이 줄어듭니다.

이 가이드의 다음 섹션에서는 AWS PrivateLink 배포로 실시간 추론 지연 시간을 줄이는 방법을 살펴보겠습니다.

배포 AWS PrivateLink

배포하려면 AWS PrivateLink먼저 SageMaker AI 엔드포인트에 연결하는 VPC에 대한 인터페이스 엔드포인트를 생성합니다. 인터페이스 VPC 엔드포인트를 사용하여 AWS 서비스 액세스의 단계에 따라 인터페이스 엔드포인트를 생성하세요. 엔드포인트 생성 중에 콘솔 인터페이스에서 다음 설정을 선택합니다.

• DNS 이름 활성화 확인란을 추가 설정 아래에서 선택합니다.

• SageMaker AI 엔드포인트에 사용할 적절한 보안 그룹과 서브넷을 선택합니다.

또한 VPC에 DNS 호스트 이름이 활성화되어 있는지 확인합니다. VPC에 대한 DNS 속성 변경 방법에 대한 자세한 정보는 VPC에 대한 DNS 속성 보기 및 업데이트에서 확인하세요.

VPC에 SageMaker AI 엔드포인트 배포

오버헤드 지연 시간을 줄이려면 배포 시 지정한 것과 동일한 서브넷을 사용하여 SageMaker AI 엔드포인트를 생성합니다 AWS PrivateLink. 다음 코드 조각과 같이 이러한 서브넷은 클라이언트 애플리케이션의 AZ와 일치해야 합니다.

model_name = '<the-name-of-your-model>'

vpc = 'vpc-0123456789abcdef0'
subnet_a = 'subnet-0123456789abcdef0'
subnet_b = 'subnet-0123456789abcdef1'
security_group = 'sg-0123456789abcdef0'

create_model_response = sagemaker_client.create_model(
    ModelName = model_name,
    ExecutionRoleArn = sagemaker_role,
    PrimaryContainer = {
        'Image': container,
        'ModelDataUrl': model_url
    },
    VpcConfig = {
        'SecurityGroupIds': [security_group],
        'Subnets': [subnet_a, subnet_b],
    },
)
        

앞서 언급한 코드 조각에서는 시작하기 전 준비 사항의 단계를 따랐다고 가정합니다.

SageMaker AI 엔드포인트 호출

마지막으로 다음 코드 조각과 같이 SageMaker 런타임 클라이언트를 지정하고 SageMaker AI 엔드포인트를 호출합니다.

endpoint_name = '<endpoint-name>'
  
runtime_client = boto3.client('sagemaker-runtime')
response = runtime_client.invoke_endpoint(EndpointName=endpoint_name, 
                                          ContentType='text/csv', 
                                          Body=payload)             
        

엔드포인트 구성에 대한 자세한 내용은 실시간 추론을 위한 모델 배포 섹션을 참조하세요.