Início SageMaker HyperPod rápido da Amazon

Este guia de início rápido orienta você na criação do seu primeiro HyperPod cluster com as orquestrações do Slurm e do Amazon EKS (EKS). Escolha a orquestração que melhor se adapta às suas necessidades de infraestrutura para começar. SageMaker HyperPod

Crie um cluster orquestrado pelo SLURM SageMaker HyperPod

Siga estas etapas para criar seu primeiro SageMaker HyperPod cluster com a orquestração do Slurm.

1. Abra o console do Amazon SageMaker AI em https://console.aws.amazon.com/sagemaker/.

2. Escolha HyperPod Clusters no painel de navegação esquerdo e, em seguida, Gerenciamento de Clusters.

3. Na página SageMaker HyperPod Clusters, escolha Criar HyperPod cluster.

4. No menu suspenso Criar HyperPod cluster, escolha Orchestrated by Slurm.

5. Na página de criação do cluster, escolha Configuração rápida. Com essa opção, você começa imediatamente com as configurações padrão. SageMaker A IA criará novos recursos, como VPC, sub-redes, grupos de segurança, bucket do Amazon S3, função do IAM e FSx para o Lustre no processo de criação do seu cluster.

6. Em Configurações gerais, especifique um nome para o novo cluster. Você não pode alterar o nome após a criação do cluster.

7. Em Grupos de instâncias, escolha Adicionar grupo. Cada grupo de instâncias pode ser configurado de forma diferente e você pode criar um cluster heterogêneo que consiste em vários grupos de instâncias com vários tipos de instância. Para implantar um cluster, você deve adicionar pelo menos um grupo de instâncias. Você pode adicionar um grupo de instâncias por vez. Para criar vários grupos de instâncias, repita o processo para cada grupo de instâncias.

   Siga estas etapas para adicionar um grupo de instâncias.

   1. Em Tipo de grupo de instâncias, escolha um tipo para seu grupo de instâncias. Para esse início rápido, escolha Controller (head) formy-controller-group, Login for my-login-group e Compute (worker) for. worker-group-1

   2. Em Nome, especifique um nome para o grupo de instâncias. Para esse guia de início rápido, crie três grupos de instâncias chamados my-controller-groupmy-login-group, e. worker-group-1

   3. Em Capacidade de instância, escolha a capacidade sob demanda ou um plano de treinamento para reservar seus recursos computacionais.

   4. Em Tipo de instância, escolha a instância para o grupo de instâncias. Para esse início rápido, selecione ml.c5.xlarge para my-controller-groupmy-login-group, ml.m5.4xlarge para e ml.trn1.32xlarge paraworker-group-1.

      Certifique-se de escolher o tipo de instância com cotas suficientes em sua conta ou solicite cotas adicionais seguindo as instruções em. SageMaker HyperPod cotas

   5. Em Quantidade de instâncias, especifique um número inteiro que não exceda a cota de instância para uso do cluster. Para esse início rápido, insira 1 para todos os três grupos.

   6. Para Zona de disponibilidade de destino, escolha a zona de disponibilidade em que suas instâncias serão provisionadas. A zona de disponibilidade deve corresponder à localização da sua capacidade computacional acelerada.

   7. Para Volume de armazenamento adicional por instância (GB) — opcional, especifique um número inteiro entre 1 e 16384 para definir o tamanho de um volume adicional do Elastic Block Store (EBS) em gigabytes (GB). O volume do EBS é anexado a cada instância do grupo de instâncias. O caminho de montagem padrão para o volume adicional do EBS é/opt/sagemaker. Depois que o cluster for criado com sucesso, você poderá entrar por SSH nas instâncias do cluster (nós) e verificar se o volume do EBS está montado corretamente executando o comando df -h. A anexação de um volume adicional do EBS fornece armazenamento estável, fora da instância e com persistência independente, conforme descrito na seção de volumes do Amazon EBS no Guia do usuário do Amazon Elastic Block Store.

   8. Escolha Adicionar grupo de instâncias.

8. Em Padrões de configuração rápida, revise as configurações padrão. Esta seção lista todas as configurações padrão para a criação do cluster, incluindo todos os novos AWS recursos que serão criados durante o processo de criação do cluster.

9. Selecione Enviar.

Para obter mais informações, consulte Introdução ao SageMaker HyperPod uso do console de SageMaker IA.

Crie um cluster orquestrado pelo EKS SageMaker HyperPod

Siga estas etapas para criar seu primeiro SageMaker HyperPod cluster com a orquestração do Amazon EKS.

1. Abra o console do Amazon SageMaker AI em https://console.aws.amazon.com/sagemaker/.

2. Escolha HyperPod Clusters no painel de navegação esquerdo e, em seguida, Gerenciamento de Clusters.

3. Na página SageMaker HyperPod Clusters, escolha Criar HyperPod cluster.

4. No menu suspenso Criar HyperPod cluster, escolha Orchestrated by Amazon EKS.

5. Na página de criação do cluster, escolha Configuração rápida. Com essa opção, você pode começar imediatamente com as configurações padrão. SageMaker A IA criará novos recursos, como VPC, sub-redes, grupos de segurança, bucket do Amazon S3, função do IAM e FSx para o Lustre no processo de criação do seu cluster.

6. Em Configurações gerais, especifique um nome para o novo cluster. Você não pode alterar o nome após a criação do cluster.

7. Em Grupos de instâncias, escolha Adicionar grupo. Cada grupo de instâncias pode ser configurado de forma diferente e você pode criar um cluster heterogêneo que consiste em vários grupos de instâncias com vários tipos de instância. Para implantar um cluster, você deve adicionar pelo menos um grupo de instâncias. Você pode adicionar um grupo de instâncias por vez. Para criar vários grupos de instâncias, repita o processo para cada grupo de instâncias.

   Siga estas etapas para adicionar um grupo de instâncias.

   1. Em Tipo de grupo de instâncias, escolha Standard ou Restricted Instance Group (RIG). Normalmente, você escolherá o Padrão, que fornece um ambiente de computação de uso geral sem restrições adicionais de segurança. O Restricted Instance Group (RIG) é um ambiente especializado para personalização de modelos básicos, como o Amazon Nova. Para obter mais informações sobre como configurar o RIG para personalização do modelo Amazon Nova, consulte. Personalização do Amazon Nova na Amazon SageMaker HyperPod

   2. Em Nome, especifique um nome para o grupo de instâncias.

   3. Em Capacidade de instância, escolha a capacidade sob demanda ou um plano de treinamento para reservar seus recursos computacionais.

   4. Em Tipo de instância, escolha a instância para o grupo de instâncias. Escolha o tipo de instância com cotas suficientes em sua conta ou solicite cotas adicionais seguindo em SageMaker HyperPod cotas.

   5. Em Quantidade de instâncias, especifique um número inteiro que não exceda a cota de instância para uso do cluster. Para esse início rápido, insira 1 para todos os três grupos.

   6. Para Zona de disponibilidade de destino, escolha a zona de disponibilidade em que suas instâncias serão provisionadas. A zona de disponibilidade deve corresponder à localização da sua capacidade computacional acelerada.

   7. Para Volume de armazenamento adicional por instância (GB) — opcional, especifique um número inteiro entre 1 e 16384 para definir o tamanho de um volume adicional do Elastic Block Store (EBS) em gigabytes (GB). O volume do EBS é anexado a cada instância do grupo de instâncias. O caminho de montagem padrão para o volume adicional do EBS é/opt/sagemaker. Depois que o cluster for criado com sucesso, você poderá entrar por SSH nas instâncias do cluster (nós) e verificar se o volume do EBS está montado corretamente executando o comando df -h. A anexação de um volume adicional do EBS fornece armazenamento estável, fora da instância e com persistência independente, conforme descrito na seção de volumes do Amazon EBS no Guia do usuário do Amazon Elastic Block Store.

   8. Por exemplo, verificações de saúde detalhadas, escolha sua opção. Verificações de integridade detalhadas monitoram a integridade da instância durante a criação e após as atualizações de software, recuperando automaticamente as instâncias defeituosas por meio de reinicializações ou substituições quando ativadas.

   9. Escolha Adicionar grupo de instâncias.

8. Em Padrões de configuração rápida, revise as configurações padrão. Esta seção lista todas as configurações padrão para a criação do cluster, incluindo todos os novos AWS recursos que serão criados durante o processo de criação do cluster.

9. Selecione Enviar.

Para obter mais informações, consulte Criação de um SageMaker HyperPod cluster com a orquestração do Amazon EKS.

Envie cargas de trabalho

Siga esses tutoriais do workshop para enviar amostras de cargas de trabalho.

• Amazon SageMaker HyperPod para Slurm

• Amazon SageMaker HyperPod para Amazon EKS