SageMaker HyperPod Guida introduttiva di Amazon

Questa guida rapida ti guida nella creazione del tuo primo HyperPod cluster con orchestrazioni Slurm e Amazon EKS (EKS). Scegli l'orchestrazione più adatta alle esigenze della tua infrastruttura per iniziare. SageMaker HyperPod

Crea un cluster orchestrato da SLURM SageMaker HyperPod

Segui questi passaggi per creare il tuo primo SageMaker HyperPod cluster con l'orchestrazione Slurm.

1. Apri la console Amazon SageMaker AI all'indirizzo https://console.aws.amazon.com/sagemaker/.

2. Scegli HyperPod Clusters nel riquadro di navigazione a sinistra, quindi Cluster Management.

3. Nella pagina SageMaker HyperPod Cluster, scegli Crea HyperPod cluster.

4. Nel menu a discesa Crea HyperPod cluster, scegli Orchestrated by Slurm.

5. Nella pagina di creazione del cluster, scegli Configurazione rapida. Con questa opzione, puoi iniziare immediatamente con le impostazioni predefinite. SageMaker L'intelligenza artificiale creerà nuove risorse come VPC, sottoreti, gruppi di sicurezza, bucket Amazon S3, ruolo IAM e FSx for Lustre nel processo di creazione del cluster.

6. Nelle impostazioni generali, specifica un nome per il nuovo cluster. Non è possibile modificare il nome dopo la creazione del cluster.

7. In Gruppi di istanze, scegli Aggiungi gruppo. Ogni gruppo di istanze può essere configurato in modo diverso ed è possibile creare un cluster eterogeneo composto da più gruppi di istanze con vari tipi di istanze. Per distribuire un cluster, è necessario aggiungere almeno un gruppo di istanze. È possibile aggiungere un gruppo di istanze alla volta. Per creare più gruppi di istanze, ripetete la procedura per ogni gruppo di istanze.

   Segui questi passaggi per aggiungere un gruppo di istanze.

   1. Per Tipo di gruppo di istanze, scegli un tipo per il tuo gruppo di istanze. Per questo avvio rapido, scegli Controller (head) formy-controller-group, Login for my-login-group e Compute (worker) per. worker-group-1

   2. Per Nome, specificate un nome per il gruppo di istanze. Per questo avvio rapido, create tre gruppi di istanze denominati my-controller-groupmy-login-group, eworker-group-1.

   3. Per quanto riguarda la capacità dell'istanza, scegli la capacità su richiesta o un piano di formazione per riservare le tue risorse di elaborazione.

   4. Per Tipo di istanza, scegli l'istanza per il gruppo di istanze. Per questo avvio rapido, selezionate ml.c5.xlarge for my-controller-groupmy-login-group, ml.m5.4xlarge for e ml.trn1.32xlarge forworker-group-1.

      Assicurati di scegliere il tipo di istanza con quote sufficienti nel tuo account oppure richiedi quote aggiuntive seguendo le istruzioni all'indirizzo. SageMaker HyperPod quote

   5. Per la quantità dell'istanza, specifica un numero intero che non superi la quota di istanza per l'utilizzo del cluster. Per questo quickstart, inserisci 1 per tutti e tre i gruppi.

   6. Per Target Availability Zone, scegli la zona di disponibilità in cui verranno distribuite le tue istanze. La zona di disponibilità deve corrispondere alla posizione della capacità di elaborazione accelerata.

   7. Per Volume di storage aggiuntivo per istanza (GB), facoltativo, specifica un numero intero compreso tra 1 e 16384 per impostare la dimensione di un volume Elastic Block Store (EBS) aggiuntivo in gigabyte (GB). Il volume EBS è collegato a ciascuna istanza del gruppo di istanze. Il percorso di montaggio predefinito per il volume EBS aggiuntivo è. /opt/sagemaker Dopo aver creato correttamente il cluster, è possibile accedere tramite SSH alle istanze del cluster (nodi) e verificare se il volume EBS è montato correttamente eseguendo il comando. df -h Il collegamento di un volume EBS aggiuntivo fornisce uno storage stabile, fuori istanza e persistente in modo indipendente, come descritto nella sezione Volumi Amazon EBS della Amazon Elastic Block Store User Guide.

   8. Scegli Aggiungi gruppo di istanze.

8. Nelle impostazioni predefinite di configurazione rapida, rivedi le impostazioni predefinite. Questa sezione elenca tutte le impostazioni predefinite per la creazione del cluster, incluse tutte le nuove AWS risorse che verranno create durante il processo di creazione del cluster.

9. Scegli Invia.

Per ulteriori informazioni, consulta Guida introduttiva all' SageMaker HyperPod utilizzo della console SageMaker AI.

Crea un cluster orchestrato da EKS SageMaker HyperPod

Segui questi passaggi per creare il tuo primo SageMaker HyperPod cluster con l'orchestrazione di Amazon EKS.

1. Apri la console Amazon SageMaker AI all'indirizzo https://console.aws.amazon.com/sagemaker/.

2. Scegli HyperPod Clusters nel riquadro di navigazione a sinistra, quindi Cluster Management.

3. Nella pagina SageMaker HyperPod Cluster, scegli Crea HyperPod cluster.

4. Nel menu a discesa Crea HyperPod cluster, scegli Orchestrated by Amazon EKS.

5. Nella pagina di creazione del cluster, scegli Configurazione rapida. Con questa opzione, puoi iniziare immediatamente con le impostazioni predefinite. SageMaker L'intelligenza artificiale creerà nuove risorse come VPC, sottoreti, gruppi di sicurezza, bucket Amazon S3, ruolo IAM e FSx for Lustre nel processo di creazione del cluster.

6. Nelle impostazioni generali, specifica un nome per il nuovo cluster. Non è possibile modificare il nome dopo la creazione del cluster.

7. In Gruppi di istanze, scegli Aggiungi gruppo. Ogni gruppo di istanze può essere configurato in modo diverso ed è possibile creare un cluster eterogeneo composto da più gruppi di istanze con vari tipi di istanze. Per distribuire un cluster, è necessario aggiungere almeno un gruppo di istanze. È possibile aggiungere un gruppo di istanze alla volta. Per creare più gruppi di istanze, ripetete la procedura per ogni gruppo di istanze.

   Segui questi passaggi per aggiungere un gruppo di istanze.

   1. Per Tipo di gruppo di istanze, scegli Standard o Restricted Instance Group (RIG). In genere, sceglierai Standard, che fornisce un ambiente informatico generico senza restrizioni di sicurezza aggiuntive. Restricted Instance Group (RIG) è un ambiente specializzato per la personalizzazione di modelli fondamentali come Amazon Nova. Per ulteriori informazioni sulla configurazione di RIG per la personalizzazione del modello Amazon Nova, consulta. Personalizzazione di Amazon Nova su Amazon SageMaker HyperPod

   2. Per Nome, specifica un nome per il gruppo di istanze.

   3. Ad esempio, scegli la capacità su richiesta o un piano di formazione per riservare le tue risorse di elaborazione.

   4. Per Tipo di istanza, scegli l'istanza per il gruppo di istanze. Assicurati di scegliere il tipo di istanza con quote sufficienti nel tuo account oppure richiedi quote aggiuntive seguendo l'indirizzo. SageMaker HyperPod quote

   5. Per la quantità dell'istanza, specifica un numero intero che non superi la quota di istanza per l'utilizzo del cluster. Per questo quickstart, inserisci 1 per tutti e tre i gruppi.

   6. Per Target Availability Zone, scegli la zona di disponibilità in cui verranno distribuite le tue istanze. La zona di disponibilità deve corrispondere alla posizione della capacità di elaborazione accelerata.

   7. Per Volume di storage aggiuntivo per istanza (GB), facoltativo, specifica un numero intero compreso tra 1 e 16384 per impostare la dimensione di un volume Elastic Block Store (EBS) aggiuntivo in gigabyte (GB). Il volume EBS è collegato a ciascuna istanza del gruppo di istanze. Il percorso di montaggio predefinito per il volume EBS aggiuntivo è. /opt/sagemaker Dopo aver creato correttamente il cluster, è possibile accedere tramite SSH alle istanze del cluster (nodi) e verificare se il volume EBS è montato correttamente eseguendo il comando. df -h Il collegamento di un volume EBS aggiuntivo fornisce uno storage stabile, fuori istanza e persistente in modo indipendente, come descritto nella sezione Volumi Amazon EBS della Amazon Elastic Block Store User Guide.

   8. Ad esempio, controlli sanitari approfonditi, scegli la tua opzione. I controlli approfonditi dello stato delle istanze monitorano lo stato delle istanze durante la creazione e dopo gli aggiornamenti software, ripristinando automaticamente le istanze difettose tramite riavvii o sostituzioni, se abilitati.

   9. Scegli Aggiungi gruppo di istanze.

8. Nelle impostazioni predefinite di configurazione rapida, rivedi le impostazioni predefinite. Questa sezione elenca tutte le impostazioni predefinite per la creazione del cluster, incluse tutte le nuove AWS risorse che verranno create durante il processo di creazione del cluster.

9. Scegli Invia.

Per ulteriori informazioni, consulta Creazione di un SageMaker HyperPod cluster con l'orchestrazione di Amazon EKS.

Invia carichi di lavoro

Segui questi tutorial del workshop per inviare carichi di lavoro di esempio.

• Amazon SageMaker HyperPod per Slurm

• Amazon SageMaker HyperPod per Amazon EKS