自動擴展先決條件

您必須先建立 Amazon SageMaker AI 模型端點，才能使用自動擴展。您可以針對相同的端點擁有多個模型版本。每個模型稱為生產 （模型） 變體。如需關於部署模型端點的詳細資訊，請參閱將模型部署至 SageMaker AI 託管服務。

若要啟用模型的自動擴展，您可以透過 Application Auto Scaling API 使用 SageMaker AI 主控台、 AWS Command Line Interface (AWS CLI) 或 AWS SDK。

• 如果這是您第一次為模型設定擴展，我們建議您 使用主控台設定模型自動擴展。

• 使用 AWS CLI 或 Application Auto Scaling API 時，流程是將模型註冊為可擴展目標、定義擴展政策，然後套用。在 SageMaker AI 主控台的導覽窗格中的推論下，選擇端點。尋找模型的端點名稱，然後選擇它來尋找變體名稱。您必須同時指定端點名稱和變體名稱，才能啟用模型的自動擴展。

Amazon SageMaker AI、Amazon CloudWatch 和 Application Auto Scaling APIs 的組合可實現自動擴展。如需最低必要許可的相關資訊，請參閱《Application Auto Scaling 使用者指南》中的 Application Auto Scaling 身分型政策範例。 Auto Scaling

IAM SagemakerFullAccessPolicy 政策具有執行自動擴展所需的所有 IAM 許可。如需 SageMaker AI IAM 許可的詳細資訊，請參閱如何使用 SageMaker AI 執行角色。

如果您管理自己的許可政策，則必須包含下列許可：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "sagemaker:DescribeEndpoint",
        "sagemaker:DescribeEndpointConfig",
        "sagemaker:UpdateEndpointWeightsAndCapacities"
      ],
      "Resource": "*"
    },
    {    
        "Effect": "Allow",
        "Action": [
            "application-autoscaling:*"
        ],
        "Resource": "*"
    },
    {
      "Effect": "Allow",
      "Action": "iam:CreateServiceLinkedRole",
      "Resource": "arn:aws:iam::*:role/aws-service-role/sagemaker.application-autoscaling.amazonaws.com/AWSServiceRoleForApplicationAutoScaling_SageMakerEndpoint",
      "Condition": {
        "StringLike": { "iam:AWSServiceName": "sagemaker.application-autoscaling.amazonaws.com"	}
      }
    },
    {
      "Effect": "Allow",
      "Action": [
        "cloudwatch:PutMetricAlarm",
        "cloudwatch:DescribeAlarms",
        "cloudwatch:DeleteAlarms"
      ],
      "Resource": "*"
    }
  ]
}

服務連結角色

自動擴展使用AWSServiceRoleForApplicationAutoScaling_SageMakerEndpoint服務連結角色。此服務連結角色會授予 Application Auto Scaling 許可，以描述政策的警示、監控目前的容量層級，以及擴展目標資源。此角色會自動為您建立。若要自動建立角色以成功，您必須擁有 iam:CreateServiceLinkedRole動作的許可。如需詳細資訊，請參閱《應用程式自動擴展使用者指南》中的服務連結角色。