Questa documentazione fa riferimento AWS ParallelCluster. Per l'esecuzione di carichi di lavoro HPC e AI, consigliamo AWS Servizio di calcolo parallelo (AWS PEZZI)
Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Sto cercando di gestire un lavoro
La sezione seguente fornisce le possibili soluzioni per la risoluzione dei problemi riscontrati durante il tentativo di eseguire un processo.
srun il lavoro interattivo fallisce con un errore srun: errore: fwd_tree_thread: impossibile trovare l'indirizzo per <ospitare>, controlla slurm.conf
-
Perché ha fallito?
Hai gestito il
sruncomando per inviare un lavoro, quindi è stata aumentata la dimensione di una coda utilizzandopcluster update-clustercomando senza riavviare il Slurm demoni dopo il completamento dell'aggiornamento.Slurm organizza Slurm demoni in una gerarchia ad albero per ottimizzare la comunicazione. Questa gerarchia viene aggiornata solo all'avvio dei demoni.
Supponiamo che tu usi
srunper avviare un lavoro e quindi eseguire ilpcluster update-clustercomando per aumentare la dimensione della coda. I nuovi nodi di calcolo vengono lanciati come parte dell'aggiornamento. Quindi, Slurm mette in coda il lavoro su uno dei nuovi nodi di calcolo. In questo caso, sia Slurm demoni esrunnon rilevano i nuovi nodi di calcolo.srunrestituisce un errore perché non rileva i nuovi nodi. -
Come risolvere?
Riavviare il Slurm demoni su tutti i nodi di calcolo, quindi usa
srunper inviare il tuo lavoro. Puoi programmare il Slurm i demoni si riavviano eseguendoscontrol rebootcomando che riavvia i nodi di calcolo. Per ulteriori informazioni, vedere scontrol rebootnel Slurm documentazione. È inoltre possibile riavviare manualmente Slurm demoni sui nodi di calcolo richiedendo il riavvio del corrispondente systemdservizi.
Il lavoro è bloccato CF stato con coda comando
Questo potrebbe essere un problema con l'accensione dei nodi dinamici. Per ulteriori informazioni, consulta Visualizzazione di errori nelle inizializzazioni dei nodi di calcolo.
Esecuzione di lavori su larga scala e visualizzazione nfsd: troppe connessioni aperte, considera di aumentare il numero di thread in/var/log/messaggi
Con un file system in rete, quando vengono raggiunti i limiti di rete, I/O anche il tempo di attesa aumenta. Ciò può causare blocchi software perché la rete viene utilizzata per scrivere dati sia per la rete che I/O metriche.
Con le istanze di quinta generazione, utilizziamo il driver ENA per esporre i contatori di pacchetti. Questi contatori contano i pacchetti formati da AWS quando la rete raggiunge i limiti di larghezza di banda dell'istanza. Puoi controllare questi contatori per vedere se sono maggiori di 0. Se lo sono, significa che hai superato i limiti di larghezza di banda. Puoi visualizzare questi contatori eseguendo ethtool -S eth0 | grep exceeded.
Il superamento dei limiti di rete è spesso il risultato del supporto di troppe connessioni NFS. Questa è una delle prime cose da verificare quando si raggiungono o si superano i limiti di rete.
Ad esempio, il seguente output mostra i pacchetti eliminati:
$ethtool -S eth0 | grep exceededbw_in_allowance_exceeded: 38750610 bw_out_allowance_exceeded: 1165693 pps_allowance_exceeded: 103 conntrack_allowance_exceeded: 0 linklocal_allowance_exceeded: 0
Per evitare di ricevere questo messaggio, valuta la possibilità di cambiare il tipo di istanza del nodo principale con un tipo di istanza più performante. Valuta la possibilità di spostare lo storage dei dati su file system di storage condivisi che non vengono esportati come condivisione NFS, come Amazon EFS o Amazon FSx. Per ulteriori informazioni, consulta Archiviazione condivisa e Le migliori pratiche
Esecuzione di un processo MPI
Attivazione della modalità di debug
Per abilitare la modalità di debug di OpenMPI, vedi Di quali controlli dispone Open MPI per il debugging
Per abilitare la modalità di debug IntelMPI, vedere Altre variabili di ambiente
Vedere MPI_ERRORS_ARE_FATAL e ERRORE OPALE nell'output del lavoro
Questi codici di errore provengono dal livello MPI dell'applicazione. Per informazioni su come ottenere i log di debug MPI dall'applicazione, consulta Attivazione della modalità di debug.
Una possibile causa di questo errore è che l'applicazione è stata compilata per un'implementazione MPI specifica, come OpenMPI, e si sta tentando di eseguirla con un'implementazione MPI diversa, come IntelMPI. Assicuratevi di compilare ed eseguire l'applicazione con la stessa implementazione MPI.
Usando mpirun con DNS gestito disabilitato
Per i cluster creati con SlurmSettings / DNS / DisableManagedDns e UseEc2Hostnames impostato su true, il Slurm il nome del nodo non viene risolto dal DNS. Slurm può avviare i processi MPI quando nodenames non sono abilitati e se il processo MPI viene eseguito in un Slurm contesto. Si consiglia di seguire le indicazioni riportate nel Slurm Guida per l'utente di MPI