Usando os AWS CLI comandos para as SageMaker HyperPod APIs

Crie seu primeiro SageMaker HyperPod cluster usando os AWS CLI comandos para HyperPod.

Crie seu primeiro SageMaker HyperPod cluster com o Slurm

O tutorial a seguir demonstra como criar um novo SageMaker HyperPod cluster e configurá-lo com o Slurm por meio dos AWS CLI comandos para. SageMaker HyperPod Seguindo o tutorial, você criará um HyperPod cluster com três nós do Slurm, my-controller-groupmy-login-group, e. worker-group-1

1. Primeiro, prepare e carregue scripts de ciclo de vida em um bucket do S3. Durante a criação do cluster, eles são HyperPod executados em cada grupo de instâncias. Faça upload de scripts de ciclo de vida para o S3 usando o comando a seguir.

   aws s3 sync \
       ~/local-dir-to-lifecycle-scripts/* \ 
       s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src

   nota

   O caminho do bucket do S3 deve começar com um prefixosagemaker-, porque o Função do IAM para SageMaker HyperPod with AmazonSageMakerClusterInstanceRolePolicy só permite acesso aos buckets do S3 que começam com o prefixo específico.

   Se você está começando do zero, use exemplos de scripts de ciclo de vida fornecidos no repositório do Awsome Distributed Training. GitHub As subetapas a seguir mostram como baixar, o que modificar e como fazer upload dos exemplos de scripts de ciclo de vida em um bucket do S3.

   1. Faça o download de uma cópia das amostras de script do ciclo de vida em um diretório no seu computador local.

      git clone https://github.com/aws-samples/awsome-distributed-training/

   2. Acesse o diretório 1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config, onde você pode encontrar um conjunto de scripts de ciclo de vida.

      cd awsome-distributed-training/1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config

      Para saber mais sobre os exemplos de scripts de ciclo de vida, consulte. Prepare scripts de ciclo de vida para configurar o Slurm on SageMaker HyperPod

   3. Escreva um arquivo de configuração do Slurm e salve-o como. provisioning_params.json No arquivo, especifique os parâmetros básicos de configuração do Slurm para atribuir adequadamente os nós do Slurm aos grupos de instâncias do SageMaker HyperPod cluster. Neste tutorial, configure três nós do Slurm chamadosmy-controller-group,, e my-login-groupworker-group-1, conforme mostrado no exemplo de configuração a seguir. provisioning_params.json

      {
          "version": "1.0.0",
          "workload_manager": "slurm",
          "controller_group": "my-controller-group",
          "login_group": "my-login-group",
          "worker_groups": [
              {
                  "instance_group_name": "worker-group-1",
                  "partition_name": "partition-1"
              }
          ]
      }

   4. Faça o upload dos scripts paras3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src. Você pode fazer isso usando o console do S3 ou executando o seguinte comando do AWS CLI S3.

      aws s3 sync \
          ~/local-dir-to-lifecycle-scripts/* \ 
          s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src

2. Prepare um arquivo de CreateClustersolicitação no formato JSON e salve comocreate_cluster.json. O modelo de solicitação a seguir está alinhado com a configuração do nó Slurm definida provisioning_params.json na Etapa 1.c. ParaExecutionRole, forneça o ARN da função do IAM que você criou com o managed AmazonSageMakerClusterInstanceRolePolicy in. SageMaker HyperPod pré-requisitos

   {
       // Required: Specify the name of the cluster.
       "ClusterName": "my-hyperpod-cluster",
       // Required: Configure instance groups to be launched in the cluster
       "InstanceGroups": [
           {
               // Required: Specify the basic configurations to set up a controller node.
               "InstanceGroupName": "my-controller-group",
               "InstanceType": "ml.c5.xlarge",
               "InstanceCount": 1,
               "LifeCycleConfig": {
                 "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
                 "OnCreate": "on_create.sh"
               },
               "ExecutionRole": "${ROLE}",
               // Optional: Configure an additional storage per instance group.
               "InstanceStorageConfigs": [
                   {
                      // Attach an additional EBS volume to each instance within the instance group.
                      // The default mount path for the additional EBS volume is /opt/sagemaker.
                      "EbsVolumeConfig":{
                         // Specify an integer between 1 and 16384 in gigabytes (GB).
                         "VolumeSizeInGB": integer,
                      }
                   }
               ]
           },
           {
               "InstanceGroupName": "my-login-group",
               "InstanceType": "ml.m5.4xlarge",
               "InstanceCount": 1,
               "LifeCycleConfig": {
                 "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
                 "OnCreate": "on_create.sh"
               },
               "ExecutionRole": "${ROLE}"
           },
           {
               "InstanceGroupName": "worker-group-1",
               "InstanceType": "ml.trn1.32xlarge",
               "InstanceCount": 1,
               "LifeCycleConfig": {
                 "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
                 "OnCreate": "on_create.sh"
               },
               "ExecutionRole": "${ROLE}"
           }
       ]
   }

3. Execute o comando a seguir para criar o cluster.

   aws sagemaker create-cluster --cli-input-json file://complete/path/to/create_cluster.json

   Isso deve retornar o ARN do cluster criado.

   Se você receber um erro devido aos limites de recursos, altere o tipo de instância para uma com cotas suficientes em sua conta ou solicite cotas adicionais seguindo em. SageMaker HyperPod cotas

4. Execute describe-cluster para verificar o status do cluster.

   aws sagemaker describe-cluster --cluster-name my-hyperpod-cluster

   Depois que o status do cluster mudar paraInService, vá para a próxima etapa.

5. Execute list-cluster-nodes para verificar os detalhes dos nós do cluster.

   aws sagemaker list-cluster-nodes --cluster-name my-hyperpod-cluster

   Isso retorna uma resposta e InstanceId é o que os usuários do cluster precisam para logar (aws ssm) neles. Para obter mais informações sobre como fazer login nos nós do cluster e executar cargas de trabalho de ML, consulteExecute trabalhos em SageMaker HyperPod clusters.

Exclua o cluster e limpe os recursos

Depois de testar com êxito a criação de um SageMaker HyperPod cluster, ele continua sendo executado no InService estado até que você exclua o cluster. Recomendamos que você exclua todos os clusters criados usando a SageMaker capacidade sob demanda quando não estiverem em uso para evitar cobranças de serviço contínuas com base nos preços sob demanda. Neste tutorial, você criou um cluster que consiste em dois grupos de instâncias. Um deles usa uma instância C5, portanto, certifique-se de excluir o cluster executando o comando a seguir.

aws sagemaker delete-cluster --cluster-name my-hyperpod-cluster

Para limpar os scripts de ciclo de vida do bucket do S3 usados neste tutorial, acesse o bucket do S3 que você usou durante a criação do cluster e remova completamente os arquivos.

Se você testou a execução de qualquer modelo de carga de trabalho de treinamento no cluster, verifique também se você carregou algum dado ou se seu trabalho salvou algum artefato em diferentes buckets do S3 ou serviços do sistema de arquivos, como Amazon FSx for Lustre e Amazon Elastic File System. Para evitar cobranças, exclua todos os artefatos e dados do armazenamento ou do sistema de arquivos.