Fase 2: Controllo dell'ambiente - Amazon EMR

Fase 2: Controllo dell'ambiente

Verifica della presenza di interruzioni del servizio

Amazon EMR utilizza diversi servizi Amazon Web Services al suo interno. Esegue server virtuali su Amazon EC2, memorizza dati e script su Amazon S3 e segnala i parametri a CloudWatch. Gli eventi che disturbano questi servizi sono rari, ma quando si verificano possono causare problemi in Amazon EMR.

Prima di proseguire, controllare il Service Health Dashboard. Controlla la Regione in cui è stato avviato il cluster per verificare se esistono eventi di interruzione in uno di questi servizi.

Controllo dei limiti di utilizzo

Se avvii un cluster di grandi dimensioni, hai avviato più cluster contemporaneamente o sei un utente che condivide un Account AWS con altri utenti, il cluster potrebbe avere esito negativo poiché hai superato un limite del servizio AWS.

Amazon EC2 limita il numero di istanze server virtuali in esecuzione su una singola Regione AWS a 20 istanze su richiesta o riservate. Se avvii un cluster con più di 20 nodi o avvii un cluster che fa sì che il numero totale di istanze EC2 attive sul tuo Account AWS superi 20, il cluster non sarà in grado di avviare tutte le istanze EC2 necessarie e potrebbe avere esito negativo. Quando ciò si verifica, Amazon EMR restituisce un errore EC2 QUOTA EXCEEDED. Puoi richiedere ad AWS l'aumento del numero di istanze EC2 eseguibili sul tuo account inviando una domanda di Request to Increase Amazon EC2 Instance Limit (Richiesta di aumento del limite di istanze Amazon EC2).

Un altro fattore che può causare il superamento dei limiti di utilizzo è il ritardo tra il momento in cui un cluster viene terminato e quello in cui rilascia tutte le sue risorse. A seconda della configurazione, potrebbero essere necessari tra i 5 e i 20 minuti affinché un cluster venga terminato e le risorse allocate rilasciate. Se visualizzi un errore EC2 QUOTA EXCEEDED al tentativo di avvio di un cluster, potrebbe essere dovuto al rilascio non ancora avvenuto delle risorse di un cluster terminato recentemente. In questo caso, puoi richiedere l'aumento della quota Amazon EC2 o attendere 20 minuti prima di riavviare il cluster.

Amazon S3 limita il numero di bucket creati su un account a 100. Se il cluster crea un nuovo bucket che supera questo limite, la creazione del bucket avrà esito negativo e potrebbe causare l'esito negativo del cluster.

Controllo della configurazione della sottorete Amazon VPC

Se il cluster è stato avviato in una sottorete Amazon VPC, la sottorete deve essere configurata come descritto in Configurazione delle reti. Occorre inoltre verificare che la sottorete in cui si avvia il cluster disponga di indirizzi IP elastici liberi sufficienti per assegnarne uno a ciascun nodo del cluster.

Riavvio del cluster

Il rallentamento dell'elaborazione può essere causato da una condizione transitoria. Valuta la possibilità di terminare e riavviare il cluster per verificare se tale operazione migliora le prestazioni.