Avvia istanze con Capacity Blocks (CB)

AWS ParallelCluster supporta On-Demand Capacity Reservations (ODCR) e Capacity Blocks (CB) per Machine Learning. A differenza dell'ODCR, CB può avere orari di inizio futuri ed è limitato nel tempo. Per ulteriori informazioni sull'avvio con ODCR, consulta Launch istances with On-Demand Capacity Reservations (ODCR).

Usare CB con AWS ParallelCluster

Per configurare i tuoi cluster nuovi o esistenti per utilizzare un CB, devi prima avere un CB valido nel tuo account. AWS Puoi usare AWS Management Console AWS Command Line Interface, o SDK per trovare e acquistare un CB disponibile seguendo la documentazione ufficiale. Una volta che hai un CB valido, puoi impostare CB Amazon Resource Name (ARN) e i relativi parametri nel tuo file di configurazione. AWS ParallelCluster Per ulteriori informazioni, consulta Find and purchase Capacity Blocks (CB)

CB nella configurazione del cluster

Per utilizzare un CB per una coda specifica è necessario utilizzare il parametro. CapacityReservationId Configuralo su un ID CB esistente. È possibile ottenere l'ARN CB dal AWS CLI, o AWS Management Console dall'SDK utilizzato per creare il CB.

È necessario impostare la coda CapacityType = CAPACITY_BLOCK in cui si desidera utilizzare il CB. Impostalo sulla risorsa InstanceType di calcolo (lo stesso tipo di istanza Amazon Elastic Compute Cloud del CB).

Quando CapacityReservationId è specificato a livello di risorsa di calcolo, InstanceType è facoltativo perché verrà recuperato automaticamente dalla prenotazione.

Quando si utilizzaCapacityType = CAPACITY_BLOCK, MaxCount deve essere uguale MinCount e maggiore di 0, poiché tutte le istanze che fanno parte della prenotazione CB sono gestite come nodi statici.

Al momento della creazione del cluster, il nodo principale attende che tutti i nodi statici siano pronti prima di segnalare il successo della creazione del cluster. Tuttavia, durante l'utilizzoCapacityType = CAPACITY_BLOCK, i nodi che fanno parte delle risorse di calcolo associate non verranno presi in considerazione per questo controllo. Il cluster verrà creato anche se non tutti i file configurati sono attivi.

Il seguente frammento di file di configurazione mostra i parametri richiesti da abilitare nel file di AWS ParallelCluster configurazione.

SlurmQueues:
 - Name: string
   CapacityType: CAPACITY_BLOCK
   ComputeResources:
   - Name: string
     InstanceType: String (EC2 Instance type of the CB)
     MinCount: integer (<= total capacity of the CB)
     MaxCount: integer (equal to MinCount)
     CapacityReservationTarget:
        CapacityReservationId: String (CB id) 

Come AWS ParallelCluster utilizza Capacity Blocks (CB)

AWS ParallelCluster gestisce i nodi statici associati in un modo particolare. AWS ParallelCluster crea un cluster anche se il CB non è ancora attivo e le istanze vengono avviate automaticamente una volta che il CB è attivo.

Il Slurm i nodi che corrispondono alle risorse di calcolo, associati e non ancora attivi, vengono mantenuti in manutenzione fino al raggiungimento dell'ora di avvio del CB. Slurm i nodi rimangono in uno stato di prenotazione/manutenzione e sono associati all'utente amministratore di slurm. Ciò significa che possono accettare lavori, ma i lavori rimangono attivi pending fino a quando la prenotazione non viene rimossa.

AWS ParallelCluster si aggiorna automaticamente Slurm prenota e mette in manutenzione i relativi nodi CB (corrispondenti allo stato CB). Quando il CB è attivo, Slurm la prenotazione viene rimossa, i nodi vengono avviati e diventano disponibili per i lavori in sospeso o per l'invio di nuovi lavori.

Quando viene raggiunta l'ora di fine del CB, i nodi verranno spostati nuovamente su una reservation/maintenance state. It’s up to users to resubmit/requeue the jobs to a new queue/compute risorsa quando CB non è più attivo e le istanze vengono terminate.