다중 컨테이너 엔드포인트

SageMaker AI 멀티컨테이너 엔드포인트를 사용하면 고객이 단일 SageMaker AI 엔드포인트에서 다양한 모델 또는 프레임워크를 사용하는 여러 컨테이너를 배포할 수 있습니다. 컨테이너를 추론 파이프라인으로 순차적으로 실행하거나 직접 호출을 사용하여 각 컨테이너에 개별적으로 액세스하여 엔드포인트 활용도를 높이고 비용을 최적화할 수 있습니다.

다중 컨테이너 엔드포인트에서 컨테이너가 순서대로 호출되는 방법에 대한 자세한 내용은 Amazon SageMaker AI의 추론 파이프라인 섹션을 참조하세요.

다중 컨테이너 엔드포인트에서 특정 컨테이너가 호출되는 방법에 대한 자세한 내용은 직접 호출을 통해 다중 컨테이너 엔드포인트를 호출하세요. 섹션을 참조하세요.

주제

• 다중 컨테이너 엔드포인트 생성(Boto 3)

• 다중 컨테이너 엔드포인트 업데이트

• 직접 호출을 통해 다중 컨테이너 엔드포인트를 호출하세요.

• 직접 호출을 통한 다중 컨테이너 엔드포인트의 보안

• 직접 호출을 사용하는 다중 컨테이너 엔드포인트에 대한 지표

• 다중 컨테이너 엔드포인트 오토 스케일링

• 다중 컨테이너 엔드포인트 문제 해결

다음 정책은 TargetContainerHostname 필드 값이 지정된 정규식 중 하나와 일치하는 경우에만 invoke_endpoint 요청을 허용합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "sagemaker:InvokeEndpoint"
            ],
            "Effect": "Allow",
            "Resource": "arn:aws:sagemaker:region:account-id:endpoint/endpoint_name",
            "Condition": {
                "StringLike": {
                    "sagemaker:TargetContainerHostname": ["customIps*", "common*"]
                }
            }
        }
    ]
}

다음 정책은 TargetContainerHostname 필드 값이 Deny 문의 지정된 정규 표현식 중 하나와 일치하는 경우 invoke_endpoint 요청을 거부합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "sagemaker:InvokeEndpoint"
            ],
            "Effect": "Allow",
            "Resource": "arn:aws:sagemaker:region:account-id:endpoint/endpoint_name",
            "Condition": {
                "StringLike": {
                    "sagemaker:TargetContainerHostname": ["*"]
                }
            }
        },
        {
            "Action": [
                "sagemaker:InvokeEndpoint"
            ],
            "Effect": "Deny",
            "Resource": "arn:aws:sagemaker:region:account-id:endpoint/endpoint_name",
            "Condition": {
                "StringLike": {
                    "sagemaker:TargetContainerHostname": ["special*"]
                }
            }
        }
    ]
}

SageMaker AI 조건 키에 대한 자세한 내용은 AWS Identity and Access Management 사용 설명서의 SageMaker AI용 조건 키를 참조하세요.