View a markdown version of this page

Sto cercando di gestire un lavoro - AWS ParallelCluster

Questa documentazione fa riferimento AWS ParallelCluster. Per l'esecuzione di carichi di lavoro HPC e AI, consigliamo AWS Servizio di calcolo parallelo (AWS PEZZI), il nostro servizio Slurm gestito che ti consente di concentrarti sull'esecuzione dei carichi di lavoro anziché sulla gestione dell'infrastruttura.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Sto cercando di gestire un lavoro

La sezione seguente fornisce le possibili soluzioni per la risoluzione dei problemi riscontrati durante il tentativo di eseguire un processo.

srun il lavoro interattivo fallisce con un errore srun: errore: fwd_tree_thread: impossibile trovare l'indirizzo per <ospitare>, controlla slurm.conf

  • Perché ha fallito?

    Hai gestito il srun comando per inviare un lavoro, quindi è stata aumentata la dimensione di una coda utilizzando pcluster update-cluster comando senza riavviare il Slurm demoni dopo il completamento dell'aggiornamento.

    Slurm organizza Slurm demoni in una gerarchia ad albero per ottimizzare la comunicazione. Questa gerarchia viene aggiornata solo all'avvio dei demoni.

    Supponiamo che tu usi srun per avviare un lavoro e quindi eseguire il pcluster update-cluster comando per aumentare la dimensione della coda. I nuovi nodi di calcolo vengono lanciati come parte dell'aggiornamento. Quindi, Slurm mette in coda il lavoro su uno dei nuovi nodi di calcolo. In questo caso, sia Slurm demoni e srun non rilevano i nuovi nodi di calcolo. srun restituisce un errore perché non rileva i nuovi nodi.

  • Come risolvere?

    Riavviare il Slurm demoni su tutti i nodi di calcolo, quindi usa srun per inviare il tuo lavoro. Puoi programmare il Slurm i demoni si riavviano eseguendo scontrol reboot comando che riavvia i nodi di calcolo. Per ulteriori informazioni, vedere scontrol reboot nel Slurm documentazione. È inoltre possibile riavviare manualmente Slurm demoni sui nodi di calcolo richiedendo il riavvio del corrispondente systemd servizi.

Il lavoro è bloccato CF stato con coda comando

Questo potrebbe essere un problema con l'accensione dei nodi dinamici. Per ulteriori informazioni, consulta Visualizzazione di errori nelle inizializzazioni dei nodi di calcolo.

Esecuzione di lavori su larga scala e visualizzazione nfsd: troppe connessioni aperte, considera di aumentare il numero di thread in/var/log/messaggi

Con un file system in rete, quando vengono raggiunti i limiti di rete, I/O anche il tempo di attesa aumenta. Ciò può causare blocchi software perché la rete viene utilizzata per scrivere dati sia per la rete che I/O metriche.

Con le istanze di quinta generazione, utilizziamo il driver ENA per esporre i contatori di pacchetti. Questi contatori contano i pacchetti formati da AWS quando la rete raggiunge i limiti di larghezza di banda dell'istanza. Puoi controllare questi contatori per vedere se sono maggiori di 0. Se lo sono, significa che hai superato i limiti di larghezza di banda. Puoi visualizzare questi contatori eseguendo ethtool -S eth0 | grep exceeded.

Il superamento dei limiti di rete è spesso il risultato del supporto di troppe connessioni NFS. Questa è una delle prime cose da verificare quando si raggiungono o si superano i limiti di rete.

Ad esempio, il seguente output mostra i pacchetti eliminati:

$ ethtool -S eth0 | grep exceeded bw_in_allowance_exceeded: 38750610 bw_out_allowance_exceeded: 1165693 pps_allowance_exceeded: 103 conntrack_allowance_exceeded: 0 linklocal_allowance_exceeded: 0

Per evitare di ricevere questo messaggio, valuta la possibilità di cambiare il tipo di istanza del nodo principale con un tipo di istanza più performante. Valuta la possibilità di spostare lo storage dei dati su file system di storage condivisi che non vengono esportati come condivisione NFS, come Amazon EFS o Amazon FSx. Per ulteriori informazioni, consulta Archiviazione condivisa e Le migliori pratiche al AWS ParallelCluster Wiki su GitHub.

Esecuzione di un processo MPI

Attivazione della modalità di debug

Per abilitare la modalità di debug di OpenMPI, vedi Di quali controlli dispone Open MPI per il debugging.

Per abilitare la modalità di debug IntelMPI, vedere Altre variabili di ambiente.

Vedere MPI_ERRORS_ARE_FATAL e ERRORE OPALE nell'output del lavoro

Questi codici di errore provengono dal livello MPI dell'applicazione. Per informazioni su come ottenere i log di debug MPI dall'applicazione, consulta Attivazione della modalità di debug.

Una possibile causa di questo errore è che l'applicazione è stata compilata per un'implementazione MPI specifica, come OpenMPI, e si sta tentando di eseguirla con un'implementazione MPI diversa, come IntelMPI. Assicuratevi di compilare ed eseguire l'applicazione con la stessa implementazione MPI.

Usando mpirun con DNS gestito disabilitato

Per i cluster creati con SlurmSettings / DNS / DisableManagedDns e UseEc2Hostnames impostato su true, il Slurm il nome del nodo non viene risolto dal DNS. Slurm può avviare i processi MPI quando nodenames non sono abilitati e se il processo MPI viene eseguito in un Slurm contesto. Si consiglia di seguire le indicazioni riportate nel Slurm Guida per l'utente di MPI con cui eseguire lavori MPI Slurm.