Creazione di un gruppo di nodi di calcolo in AWS PCS - AWS PCS
PrerequisitiCrea un gruppo di nodi di calcolo in AWS PCS

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione di un gruppo di nodi di calcolo in AWS PCS

Questo argomento fornisce una panoramica delle opzioni disponibili e descrive gli elementi da considerare quando si crea un gruppo di nodi di calcolo in AWS Parallel Computing Service ()AWS PCS. Se è la prima volta che crei un gruppo di nodi di calcolo in AWS PCS, ti consigliamo di seguire il tutorial in. Guida introduttiva con AWS PCS Il tutorial può aiutarti a creare un HPC sistema funzionante senza approfondire tutte le opzioni disponibili e le architetture di sistema possibili.

Prerequisiti

  • Quote di servizio sufficienti per avviare il numero desiderato di EC2 istanze nel tuo. Regione AWS Puoi utilizzarle AWS Management Consoleper controllare e richiedere aumenti delle quote di servizio.

  • Una o più sottoreti esistenti VPC che soddisfano i requisiti AWS PCS di rete. Si consiglia di comprendere a fondo questi requisiti prima di implementare un cluster per l'uso in produzione. Per ulteriori informazioni, consulta AWS PCSVPCe requisiti e considerazioni sulla sottorete. È inoltre possibile utilizzare un CloudFormation modello per creare sottoreti VPC e. AWS fornisce una HPC ricetta per il modello. CloudFormation Per ulteriori informazioni, vedere aws-hpc-recipeson GitHub.

  • Un profilo di IAM istanza con le autorizzazioni per avviare l' AWS PCSRegisterComputeNodeGroupInstanceAPIazione e l'accesso a tutte AWS le altre risorse necessarie per le istanze del gruppo di nodi. Per ulteriori informazioni, consulta IAMprofili di istanza per AWS Parallel Computing Service.

  • Un modello di avvio per le istanze del gruppo di nodi. Per ulteriori informazioni, consulta Utilizzo dei modelli di EC2 lancio di Amazon con AWS PCS.

  • Per creare un gruppo di nodi di calcolo che utilizzi istanze Amazon EC2 Spot, devi avere il ruolo AWSServiceRoleForEC2Spotcollegato al servizio nel tuo. Account AWS Per ulteriori informazioni, consulta Ruolo di Amazon EC2 Spot per AWS PCS.

Crea un gruppo di nodi di calcolo in AWS PCS

È possibile creare un gruppo di nodi di calcolo utilizzando AWS Management Console o il. AWS CLI

AWS Management Console
Per creare il gruppo di nodi di calcolo utilizzando la console

  1. Apri la AWS PCSconsole.

  2. Seleziona il cluster in cui desideri creare un gruppo di nodi di calcolo. Passa ai gruppi di nodi di calcolo e scegli Crea.

  3. Nella sezione Configurazione del gruppo di nodi di calcolo, fornisci un nome per il tuo gruppo di nodi. Il nome può contenere solo caratteri alfanumerici e trattini con distinzione tra maiuscole e minuscole. Deve iniziare con un carattere alfabetico e non può superare i 25 caratteri. Il nome deve essere univoco all'interno del cluster.

  4. In Computing configuration, inserisci o seleziona questi valori:

    1. EC2modello di avvio: seleziona un modello di avvio personalizzato da utilizzare per questo gruppo di nodi. I modelli di avvio possono essere utilizzati per personalizzare le impostazioni di rete come sottorete e gruppi di sicurezza, configurazione di monitoraggio e archiviazione a livello di istanza. Se non hai preparato un modello di lancio, scopri come Utilizzo dei modelli di EC2 lancio di Amazon con AWS PCS crearne uno.

      Importante

      AWS PCScrea un modello di avvio gestito per ogni gruppo di nodi di calcolo. Questi sono pcs-identifier-do-not-delete denominati. Non selezionarli quando crei o aggiorni un gruppo di nodi di calcolo, altrimenti il gruppo di nodi non funzionerà correttamente.

    2. EC2versione del modello di avvio: seleziona una versione del modello di avvio personalizzato. Puoi scegliere una versione specifica, che può migliorare la riproducibilità. Se modifichi la versione in un secondo momento, devi aggiornare il gruppo di nodi di calcolo per rilevare le modifiche nel modello di avvio. Per ulteriori informazioni, consulta Aggiornamento di un gruppo di nodi di AWS PCS calcolo.

    3. AMIID: se il modello di lancio non include un AMI ID o se desideri sovrascrivere il valore nel modello di lancio, fornisci un AMI ID qui. Nota che quello AMI usato per il gruppo di nodi deve essere compatibile con AWS PCS. Puoi anche selezionare un campione AMI fornito da AWS. Per ulteriori informazioni su questo argomento, vedereAmazon Machine Images (AMIs) per AWS PCS.

    4. IAMprofilo di istanza: scegli un profilo di istanza per il gruppo di nodi. Un profilo di istanza concede all'istanza le autorizzazioni per accedere a AWS risorse e servizi in modo sicuro. Se non ne hai uno pronto, scopri come IAMprofili di istanza per AWS Parallel Computing Service crearne uno.

    5. Sottoreti: scegli una o più sottoreti nel luogo in VPC cui è distribuito il AWS PCS cluster. Se si selezionano più sottoreti, EFA le comunicazioni non saranno disponibili tra i nodi e la comunicazione tra nodi in sottoreti diverse potrebbe avere una latenza maggiore. Assicurati che le sottoreti che specifichi qui corrispondano a quelle definite nel modello di avvio. EC2

    6. Istanze: scegli uno o più tipi di istanze per soddisfare le richieste di scalabilità nel gruppo di nodi. Tutti i tipi di istanza devono avere la stessa architettura del processore (x864_64 o arm64) e lo stesso numero di. vCPUs Se le istanze lo sonoGPUs, tutti i tipi di istanza devono avere lo stesso numero di. GPUs

    7. Configurazione di scalabilità: specifica il numero minimo e massimo di istanze per il gruppo di nodi. È possibile definire una configurazione statica, in cui è in esecuzione un numero fisso di nodi, o una configurazione dinamica, in cui è possibile eseguire fino al numero massimo di nodi. Per una configurazione statica, imposta minimo e massimo sullo stesso numero, maggiore di zero. Per una configurazione dinamica, imposta il numero minimo di istanze su zero e il numero massimo di istanze su un numero maggiore di zero. AWS PCSnon supporta gruppi di nodi di calcolo con un mix di istanze statiche e dinamiche.

  5. (Facoltativo) In Impostazioni aggiuntive, specifica quanto segue:

    1. Opzione di acquisto: seleziona tra istanze Spot e On-demand.

    2. Strategia di allocazione: se hai selezionato l'opzione di acquisto Spot, puoi specificare come vengono scelti i pool di capacità Spot al momento del lancio delle istanze nel gruppo di nodi. Per ulteriori informazioni, consulta Strategie di allocazione per istanze Spot nella Guida per l'utente di Amazon Elastic Compute Cloud. Questa opzione non ha effetto se hai selezionato l'opzione di acquisto On-demand.

  6. (Facoltativo) Nella sezione delle impostazioni Slurm personalizzate, fornisci questi valori:

    1. Peso: questo valore imposta la priorità dei nodi del gruppo ai fini della pianificazione. I nodi con pesi inferiori hanno una priorità più alta e le unità sono arbitrarie. Per ulteriori informazioni, consulta Weight nella Slurm documentazione.

    2. Memoria reale: questo valore imposta la dimensione (in GB) della memoria reale sui nodi del gruppo di nodi. È pensato per essere utilizzato insieme all'CR_CPU_Memoryopzione nella Slurm configurazione del cluster in AWS PCS. Per ulteriori informazioni, RealMemoryconsulta la Slurm documentazione.

  7. (Facoltativo) In Tag, aggiungi qualsiasi tag al gruppo di nodi di calcolo.

  8. Scegli Crea gruppo di nodi di calcolo. Il campo Status mostra Creating mentre effettua il AWS PCS provisioning del gruppo di nodi. Questo processo può richiedere diversi minuti.

Fase successiva consigliata

  • Aggiungi il tuo gruppo di nodi a una coda AWS PCS per consentirgli di elaborare i lavori.

AWS CLI
Per creare il tuo gruppo di nodi di calcolo utilizzando AWS CLI

Crea la tua coda con il comando che segue. Prima di eseguire il comando, apporta le modifiche seguenti:

  1. Replace (Sostituisci) regioncon l'ID di in Regione AWS cui creare il cluster, ad esempious-east-1.

  2. Replace (Sostituisci) my-cluster con il nome o clusterId del cluster.

  3. Replace (Sostituisci) my-node-groupcon il nome del gruppo di nodi di calcolo. Il nome può contenere solo caratteri alfanumerici (con distinzione tra lettere maiuscole e minuscole) e trattini. Deve iniziare con un carattere alfabetico e non può essere più lungo di 25 caratteri. Il nome deve essere univoco all'interno del cluster.

  4. Replace (Sostituisci) subnet-ExampleID1 con una o più sottoreti IDs del cluster. VPC

  5. Replace (Sostituisci) lt-ExampleID1 con l'ID per il tuo modello di lancio personalizzato. Se non ne hai uno già pronto, scopri Utilizzo dei modelli di EC2 lancio di Amazon con AWS PCS come crearne uno.

    Importante

    AWS PCScrea un modello di avvio gestito per ogni gruppo di nodi di calcolo. Questi sono pcs-identifier-do-not-delete denominati. Non selezionarli quando crei o aggiorni un gruppo di nodi di calcolo, altrimenti il gruppo di nodi non funzionerà correttamente.

  6. Replace (Sostituisci) launch-template-version con una versione specifica del modello di lancio se desideri associare il tuo gruppo di nodi a una versione specifica.

  7. Replace (Sostituisci) arn:InstanceProfilecon il profilo ARN della tua IAM istanza. Se non ne hai uno pronto, consulta la sezione Utilizzo dei modelli di EC2 lancio di Amazon con AWS PCS per maggiori informazioni.

  8. Replace (Sostituisci) min-instances e max-instances con valori interi. È possibile definire una configurazione statica, in cui è in esecuzione un numero fisso di nodi, o una configurazione dinamica, in cui è possibile eseguire fino al numero massimo di nodi. Per una configurazione statica, imposta minimo e massimo sullo stesso numero, maggiore di zero. Per una configurazione dinamica, imposta il numero minimo di istanze su zero e il numero massimo di istanze su un numero maggiore di zero. AWS PCSnon supporta gruppi di nodi di calcolo con un mix di istanze statiche e dinamiche.

  9. Replace (Sostituisci) t3.large con un altro tipo di istanza. È possibile aggiungere altri tipi di istanze specificando un elenco di instanceType impostazioni. Ad esempio, --instance-configs instanceType=c6i.16xlarge,instanceType=c6a.16xlarge. Tutti i tipi di istanza devono avere la stessa architettura del processore (x864_64 o arm64) e lo stesso numero di. vCPUs Se le istanze lo sonoGPUs, tutti i tipi di istanza devono avere lo stesso numero di. GPUs

aws pcs create-compute-node-group --region region \
    --cluster-identifier my-cluster \
    --compute-node-group-name my-node-group \
    --subnet-ids subnet-ExampleID1 \
    --custom-launch-template id=lt-ExampleID1,version='launch-template-version' \
    --iam-instance-profile arn=arn:InstanceProfile \
    --scaling-config minInstanceCount=min-instances,maxInstanceCount=max-instance \
    --instance-configs instanceType=t3.large

Esistono diverse impostazioni di configurazione opzionali che è possibile aggiungere al create-compute-node-group comando.

  • È possibile specificare --amiId se il modello di avvio personalizzato non include un riferimento a un AMI valore o se si desidera sovrascrivere tale valore. Nota che quello AMI usato per il gruppo di nodi deve essere compatibile con AWS PCS. Puoi anche selezionare un campione AMI fornito da AWS. Per ulteriori informazioni su questo argomento, vedereAmazon Machine Images (AMIs) per AWS PCS.

  • È possibile selezionare tra istanze on-demand (ONDEMAND) e Spot (SPOT) utilizzando. --purchase-option L'impostazione predefinita è On-demand. Se scegli le istanze Spot, puoi anche utilizzarle --allocation-strategy per definire in che modo AWS PCS sceglie i pool di capacità Spot quando avvia le istanze nel gruppo di nodi. Per ulteriori informazioni, consulta Strategie di allocazione per istanze Spot nella Guida per l'utente di Amazon Elastic Compute Cloud.

  • È possibile fornire opzioni di Slurm configurazione per i nodi del gruppo di nodi utilizzando. --slurm-configuration È possibile impostare il peso (priorità di pianificazione) e la memoria reale. I nodi con pesi inferiori hanno una priorità più alta e le unità sono arbitrarie. Per ulteriori informazioni, consulta Weight nella Slurm documentazione. La memoria reale imposta la dimensione (in GB) della memoria reale sui nodi del gruppo di nodi. È pensata per essere utilizzata insieme all'CR_CPU_Memoryopzione per il cluster presente AWS PCS nella Slurm configurazione. Per ulteriori informazioni, RealMemoryconsulta la Slurm documentazione.

Importante

La creazione del gruppo di nodi di calcolo può richiedere diversi minuti.

Puoi interrogare lo stato del tuo gruppo di nodi con il seguente comando. Non sarai in grado di associare il gruppo di nodi a una coda finché non ne raggiungerà ACTIVE lo stato.

aws pcs get-compute-node-group --region region \
    --cluster-identifier my-cluster \
    --compute-node-group-identifier my-node-group