Creazione di un cluster in AWS Parallel Computing Service - AWS PC
PrerequisitiCrea un cluster AWS PCS

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione di un cluster in AWS Parallel Computing Service

Questo argomento fornisce una panoramica delle opzioni disponibili e descrive gli elementi da considerare quando si crea un cluster in AWS Parallel Computing Service (AWS PCS). Se è la prima volta che crei un cluster AWS PCS, ti consigliamo di seguirloInizia a usare AWS Parallel Computing Service. Il tutorial può aiutarti a creare un sistema HPC funzionante senza approfondire tutte le opzioni e le architetture di sistema disponibili possibili.

Prerequisiti

Crea un cluster AWS PCS

È possibile utilizzare AWS Management Console o AWS CLI per creare un cluster.

AWS Management Console
Come creare un cluster

  1. Apri la console AWS PCS a https://console.aws.amazon.com/pcs/home#/clusters e scegli Crea cluster.

  2. Nella sezione Configurazione del cluster, inserisci i seguenti campi:

    • Nome del cluster: un nome per il cluster. Il nome può contenere solo caratteri alfanumerici (con distinzione tra lettere maiuscole e minuscole) e trattini. Deve iniziare con un carattere alfabetico e non può superare i 40 caratteri. Il nome deve essere univoco all'interno del Regione AWS e in Account AWS cui si sta creando il cluster.

    • Scheduler: scegli uno scheduler e una versione. Per ulteriori informazioni, consulta Versioni Slurm in PCS AWS.

    • Dimensioni del controller: scegli una dimensione per il controller. Ciò determina il numero di lavori e nodi di elaborazione simultanei che possono essere gestiti dal cluster AWS PCS. È possibile impostare la dimensione del controller solo al momento della creazione del cluster. Per ulteriori informazioni sul dimensionamento, vedereDimensione del cluster in AWS PCS.

  3. Nella sezione Rete, selezionate i valori per i seguenti campi:

    • Tipo di rete: scegli il tipo di indirizzo IP per il tuo cluster. Il cluster può utilizzare uno IPv4 o entrambi IPv6, ma non entrambi. Il VPC e le sottoreti devono utilizzare lo stesso tipo di indirizzo di rete. Il blocco di indirizzi IP utilizzato per ogni sottorete deve avere almeno un indirizzo disponibile. AWS riserva alcuni indirizzi in ogni sottorete. Per ulteriori informazioni, consulta Blocchi CIDR della sottorete nella Guida per l'utente di Amazon VPC.

    • VPC: scegli un VPC esistente che soddisfi i requisiti PCS. AWS Per ulteriori informazioni, consulta AWS Requisiti e considerazioni su PCS, VPC e sottorete. Dopo aver creato il cluster, non puoi modificarne il VPC. Se non VPCs ne è elencato nessuno, devi prima crearne uno.

    • Subnet: vengono elencate tutte le sottoreti disponibili nel VPC selezionato. Scegli una sottorete che soddisfi i requisiti della sottorete PCS. AWS Per ulteriori informazioni, consulta AWS Requisiti e considerazioni su PCS, VPC e sottorete. Ti consigliamo di selezionare una sottorete privata per evitare di esporre gli endpoint dello scheduler alla rete Internet pubblica.

    • Gruppi di sicurezza: specificate i gruppi di sicurezza che desiderate che AWS PCS associ alle interfacce di rete create per il cluster. È necessario selezionare almeno un gruppo di sicurezza che consenta la comunicazione tra il cluster e i relativi nodi di elaborazione. È possibile selezionare Creazione rapida di un gruppo di sicurezza per fare in modo che AWS PCS ne crei uno con la configurazione necessaria nel VPC selezionato oppure selezionare un gruppo di sicurezza esistente. Per ulteriori informazioni, consulta Requisiti e considerazioni sui gruppi di sicurezza.

  4. (Facoltativo) Nella sezione di configurazione della contabilità Slurm, è possibile abilitare la contabilità Slurm e impostare i parametri di contabilità. Per ulteriori informazioni, consulta Contabilità dei liquami in PCS AWS.

  5. (Facoltativo) Nella sezione di configurazione di Slurm, è possibile specificare le opzioni di configurazione Slurm che sostituiscono i valori predefiniti impostati da PCS: AWS

    • Ridimensiona i tempi di inattività: controlla per quanto tempo i nodi di elaborazione con provisioning dinamico rimangono attivi dopo il completamento o la fine dei lavori su di essi assegnati. L'impostazione di questo valore su un valore più lungo può aumentare la probabilità che un processo successivo possa essere eseguito sul nodo, ma può comportare un aumento dei costi. Un valore più breve ridurrà i costi, ma potrebbe aumentare la percentuale di tempo che il sistema HPC impiega per il provisioning dei nodi anziché per l'esecuzione dei job su di essi.

    • Prolog: si tratta di un percorso completo per accedere a una directory di script Prolog sulle istanze del gruppo di nodi di calcolo. Corrisponde all'impostazione Prolog in Slurm. Nota che questa deve essere una directory, non un percorso verso un eseguibile specifico.

    • Epilog: si tratta di un percorso completo verso una directory di script di epilog sulle istanze del gruppo di nodi di calcolo. Corrisponde all'impostazione Epilog in Slurm. Nota che questa deve essere una directory, non il percorso di un eseguibile specifico.

    • Seleziona i parametri del tipo: questo aiuta a controllare l'algoritmo di selezione delle risorse utilizzato da Slurm. L'impostazione di questo valore su CR_CPU_Memory attiverà la pianificazione in base alla memoria, mentre impostandolo su attiverà la pianificazione solo per CR_CPU la CPU. Questo parametro corrisponde all'impostazione di Slurm dove è SelectTypeParametersimpostata da PCS. SelectType select/cons_tres AWS

  6. (Facoltativo) In Tag, aggiungi qualsiasi tag al tuo cluster AWS PCS.

  7. Scegli Create cluster (Crea cluster). Il campo Status mostra Creating mentre il AWS PCS crea il cluster. Questo processo può richiedere alcuni minuti.

Importante

Può esserci solo 1 cluster in uno Creating stato Regione AWS per ogni stato Account AWS. AWS PCS restituisce un errore se c'è già un cluster in uno Creating stato quando si tenta di creare un cluster.

AWS CLI
Come creare un cluster

  1. Crea un cluster con il comando seguente. Prima di eseguire il comando, apporta le modifiche seguenti:

    • Sostituiscilo region con l'ID in Regione AWS cui desideri creare il cluster, ad esempious-east-1.

    • Sostituisci my-cluster con un nome da assegnare al cluster. Il nome può contenere solo caratteri alfanumerici (con distinzione tra lettere maiuscole e minuscole) e trattini. Deve iniziare con un carattere alfabetico e non può superare i 40 caratteri. Il nome deve essere univoco all'interno Regione AWS e nel Account AWS luogo in cui si sta creando il cluster.

    • 24.11Sostituiscilo con qualsiasi versione supportata di Slurm.

      Nota

      AWS PCS attualmente supporta Slurm 24.11 e 24.05.

    • Sostituiscilo SMALL con qualsiasi dimensione di cluster supportata. Ciò determina quanti processi e nodi di calcolo simultanei possono essere gestiti dal cluster AWS PCS. Può essere impostato solo al momento della creazione del cluster. Per ulteriori informazioni sul dimensionamento, vedereDimensione del cluster in AWS PCS.

    • Sostituisci il valore di subnetIds con il tuo. Ti consigliamo di selezionare una sottorete privata per evitare di esporre gli endpoint dello scheduler alla rete Internet pubblica.

    • Specificate securityGroupIds quello che desiderate che AWS PCS associ alle interfacce di rete che crea per il cluster. I gruppi di sicurezza devono trovarsi nello stesso VPC del cluster. È necessario selezionare almeno un gruppo di sicurezza che consenta la comunicazione tra il cluster e i relativi nodi di calcolo. Per ulteriori informazioni, consulta Requisiti e considerazioni sui gruppi di sicurezza.

    • Facoltativamente, puoi fornire una chiave KMS personalizzata per crittografare i dati del controller utilizzando. --kms-key-id kms-key Sostituisci kms-key con un ARN, un ID chiave o un alias KMS esistente. Tieni presente che l'account utilizzato per creare il cluster deve disporre dei kms:Decrypt privilegi sulla chiave KMS personalizzata.

    aws pcs create-cluster --region region \
    --cluster-name my-cluster \
    --scheduler type=SLURM,version=24.11 \
    --size SMALL \
    --networking subnetIds=subnet-ExampleId1,securityGroupIds=sg-ExampleId1

    • per utilizzarlo IPv6, aggiungilo networkType=IPV6 alla --networking configurazione.

        --networking networkType=IPV6,subnetIds=subnet-ExampleId1,securityGroupIds=sg-ExampleId1

    • Facoltativamente, è possibile aggiungere l'--slurm-configrationopzione per personalizzare il comportamento di Slurm e specificare le opzioni di configurazione di Slurm. L'esempio seguente imposta il tempo di inattività della scala ridotta a 60 minuti (3600 secondi), abilita la contabilità Slurm e specifica le impostazioni come valore per. slurm.conf slurmCustomSettings Per ulteriori informazioni, consulta Contabilità dei liquami in PCS AWS.

      Nota

      La contabilità è supportata per Slurm 24.11 o versioni successive.

      aws pcs create-cluster --region region \
    --cluster-name my-cluster \
    --scheduler type=SLURM,version=24.11 \
    --size SMALL \
    --networking subnetIds=subnet-ExampleId1,securityGroupIds=sg-ExampleId1
    --slurm-configuration scaleDownIdleTimeInSeconds=3600,accounting='{mode=STANDARD}',slurmCustomSettings='[{parameterName=SelectTypeParameters,parameterValue=CR_CPU_Memory}]'

  2. Il provisioning del cluster può richiedere diversi minuti. È possibile eseguire query sullo stato del cluster con il comando seguente. Non procedere alla creazione di code o gruppi di nodi di calcolo finché non viene visualizzato il campo di stato del cluster. ACTIVE

    aws pcs get-cluster --region region --cluster-identifier my-cluster
Importante

Può esserci solo 1 cluster in uno Creating stato per ogni stato. Regione AWS Account AWS AWS PCS restituisce un errore se c'è già un cluster in uno Creating stato quando si tenta di creare un cluster.
Passaggi successivi consigliati per il cluster

  • Aggiungi gruppi di nodi di calcolo.

  • Aggiungi code.

  • Attivare la registrazione nel log.