多容器端点

SageMaker AI 多容器端点使客户能够在单个 A SageMaker I 端点上部署使用不同模型或框架的多个容器。可以将容器作为推理管线按顺序运行它们，也可以使用直接调用来单独访问每个容器，以提高端点利用率并优化成本。

有关按顺序调用多容器端点中容器的信息，请参阅亚马逊 A SageMaker I 中的推理管道。

有关调用多容器端点中的特定容器的信息，请参阅通过直接调用来调用多容器端点

主题

• 创建多容器端点 (Boto 3)

• 更新多容器端点

• 通过直接调用来调用多容器端点

• 进行直接调用的多容器端点的安全性

• 进行直接调用的多容器端点的指标

• 自动扩展多容器端点

• 多容器端点问题排查

仅在 TargetContainerHostname 字段的值与指定的正则表达式之一匹配时，以下策略才允许发出 invoke_endpoint 请求：

JSON

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "sagemaker:InvokeEndpoint"
            ],
            "Effect": "Allow",
            "Resource": "arn:aws:sagemaker:us-east-1:111122223333:endpoint/endpoint_name",
            "Condition": {
                "StringLike": {
                    "sagemaker:TargetModel": [
                        "customIps*",
                        "common*"
                    ]
                }
            }
        }
    ]
}

在 TargetContainerHostname 字段的值与 Deny 语句中指定的正则表达式之一匹配时，以下策略拒绝发出 invoke_endpoint 请求。

JSON

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "sagemaker:InvokeEndpoint"
            ],
            "Effect": "Allow",
            "Resource": "arn:aws:sagemaker:us-east-1:111122223333:endpoint/endpoint_name",
            "Condition": {
                "StringLike": {
                    "sagemaker:TargetModel": [
                        "model_name*"
                    ]
                }
            }
        },
        {
            "Action": [
                "sagemaker:InvokeEndpoint"
            ],
            "Effect": "Deny",
            "Resource": "arn:aws:sagemaker:us-east-1:111122223333:endpoint/endpoint_name",
            "Condition": {
                "StringLike": {
                    "sagemaker:TargetModel": [
                        "special-model_name*"
                    ]
                }
            }
        }
    ]
}

有关 SageMaker AI 条件密钥的信息，请参阅《AWS Identity and Access Management 用户指南》中的 SageMaker AI 条件密钥。