Prerequisiti per la scalabilità automatica

Prima di poter utilizzare l'auto scaling, devi aver già creato un endpoint SageMaker modello Amazon. Puoi avere più versioni del modello per lo stesso endpoint. Ogni modello viene definito variante di produzione (modello). Per maggiori informazioni sulla distribuzione di un endpoint di un modello, consulta Implementa il modello nei servizi di hosting SageMaker .

Per attivare il ridimensionamento automatico per un modello, puoi utilizzare la SageMaker console, il AWS Command Line Interface (AWS CLI) o un AWS SDK tramite Application Auto API Scaling.

• Se è la prima volta che configuri il ridimensionamento per un modello, ti consigliamo. Configurazione del modello di scalabilità automatica con la console

• Quando si utilizza AWS CLI o Application Auto ScalingAPI, il flusso consiste nel registrare il modello come destinazione scalabile, definire la politica di scalabilità e quindi applicarla. Sulla SageMaker console, in Inferenza nel riquadro di navigazione, scegli Endpoints. Trova il nome dell'endpoint del modello, quindi sceglilo per trovare il nome della variante. È necessario specificare sia il nome dell'endpoint che il nome della variante per attivare la scalabilità automatica per un modello.

L'auto scaling è reso possibile da una combinazione di Amazon SageMaker CloudWatch, Amazon e Application Auto APIs Scaling. Per informazioni sulle autorizzazioni minime richieste, consulta gli esempi di policy basate sull'identità di Application Auto Scaling nella Application Auto Scaling User Guide.

La SagemakerFullAccessPolicy IAM policy dispone di tutte le IAM autorizzazioni necessarie per eseguire il ridimensionamento automatico. Per ulteriori informazioni sulle SageMaker IAM autorizzazioni, vedere. Come utilizzare i ruoli di SageMaker esecuzione

Se gestisci la tua politica di autorizzazione, devi includere le seguenti autorizzazioni:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "sagemaker:DescribeEndpoint",
        "sagemaker:DescribeEndpointConfig",
        "sagemaker:UpdateEndpointWeightsAndCapacities"
      ],
      "Resource": "*"
    },
    {    
        "Effect": "Allow",
        "Action": [
            "application-autoscaling:*"
        ],
        "Resource": "*"
    },
    {
      "Effect": "Allow",
      "Action": "iam:CreateServiceLinkedRole",
      "Resource": "arn:aws:iam::*:role/aws-service-role/sagemaker.application-autoscaling.amazonaws.com/AWSServiceRoleForApplicationAutoScaling_SageMakerEndpoint",
      "Condition": {
        "StringLike": { "iam:AWSServiceName": "sagemaker.application-autoscaling.amazonaws.com"	}
      }
    },
    {
      "Effect": "Allow",
      "Action": [
        "cloudwatch:PutMetricAlarm",
        "cloudwatch:DescribeAlarms",
        "cloudwatch:DeleteAlarms"
      ],
      "Resource": "*"
    }
  ]
}

Ruolo collegato al servizio

La scalabilità automatica utilizza il ruolo collegato al AWSServiceRoleForApplicationAutoScaling_SageMakerEndpoint servizio. Questo ruolo collegato al servizio concede all'Application Auto Scaling l'autorizzazione a descrivere gli allarmi per le politiche, monitorare i livelli di capacità attuali e scalare la risorsa di destinazione. Questo ruolo viene creato automaticamente per te. Affinché la creazione automatica del ruolo abbia esito positivo, è necessario disporre dell'autorizzazione per l'iam:CreateServiceLinkedRoleazione. Per ulteriori informazioni, consulta Ruoli collegati ai servizi nella Guida per l'utente di Application Auto Scaling.