Un' EC2 istanza in AWS PCS viene terminata e sostituita dopo il riavvio

panoramica del problema

Dopo il riavvio di un' EC2 istanza in un gruppo di nodi di calcolo, AWS PCS termina e sostituisce automaticamente l'istanza.

Perché questo accade

AWS PCS non supporta il riavvio delle istanze. Se un' EC2 istanza viene riavviata, AWS PCS la considera non integra e la sostituisce. Se AWS PCS termina e sostituisce continuamente le istanze, potrebbe essere perché qualcosa riavvia le istanze dopo il loro avvio. Alcuni esempi includono riavvii automatizzati sull' EC2 istanza (come il riavvio automatico dopo l'applicazione di patch), l'automazione esterna all' EC2 istanza (come un'applicazione di gestione della rete), un altro AWS servizio (ad esempio) o il riavvio manuale da parte di una AWS Systems Manager persona.

Cosa fare

Puoi controllare i slurmd log del sistema operativo slurmctld per vedere se l'istanza è stata riavviata. Per ulteriori informazioni, consulta Registri di Scheduler in PCS AWS e Monitoraggio delle istanze AWS PCS tramite Amazon CloudWatch. La seguente voce di slurmctld registro di esempio indica che l'istanza è stata riavviata:

[2024-09-12T06:42:50.393+00:00] validate_node_specs: Node Login-1 unexpectedly rebooted boot_time=1726123354 last response=1726123285

Riavvio a causa dell'applicazione di patch

Spesso è necessario un riavvio dopo l'applicazione delle patch. Non applicare le patch direttamente a un' EC2 istanza che fa parte di un gruppo di nodi di calcolo AWS PCS. Se devi applicare le patch alle tue EC2 istanze, devi applicarle a un'Amazon Machine Image (AMI) aggiornata e aggiornare i gruppi di nodi di calcolo per utilizzare l'AMI aggiornata. Le nuove EC2 istanze avviate AWS da PCS per quei gruppi di nodi di calcolo utilizzeranno l'AMI aggiornata (con patch). Per ulteriori informazioni, consulta Immagini di macchine Amazon personalizzate (AMIs) per AWS PCS.