Eseguire il debug delle fasi EMR utilizzando l'applicazione YARN IDs - Amazon EMR
ID dell'applicazione YARN

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Eseguire il debug delle fasi EMR utilizzando l'applicazione YARN IDs

Un modo efficace per eseguire il debug delle fasi che avviano applicazioni basate su Yarn (come le fasi Spark) consiste nell'utilizzare le informazioni Yarn Application ID disponibili nella console Amazon EMR.

ID dell'applicazione YARN

Per i passaggi che eseguono Spark o altri job basati su YARN, la console EMR mostra l'ID dell'applicazione YARN eseguito più di recente nei dettagli del passaggio. Se un passaggio avvia più applicazioni YARN, viene visualizzato solo l'ID dell'applicazione eseguito per ultima.

Perché usare l'applicazione IDs Yarn per il debug?

  • È possibile correlare direttamente le fasi EMR alle applicazioni Yarn: identifica esattamente quale applicazione Yarn corrisponde a una fase problematica o interessante.

  • Puoi accedere agli strumenti di monitoraggio in tempo reale: utilizza l'ID dell'applicazione per aprire l'interfaccia utente YARN ResourceManager Live o l'interfaccia utente di Spark History Server per ispezionare le applicazioni in esecuzione o completate.

  • Puoi recuperare i log per una risoluzione dettagliata dei problemi: usa l'ID dell'applicazione per trovare i log dei container archiviati in S3, associati a quell'applicazione, che ti aiutano a indagare più a fondo su guasti o problemi di prestazioni.

Puoi utilizzare queste informazioni in vari modi:

  1. Vai alla scheda Steps del tuo cluster EMR.

  2. Fai clic sul passaggio in cui desideri eseguire il debug.

  3. Individua la sezione Yarn Application ID nel pannello dei dettagli del passaggio.

  4. Copia l'ID dell'applicazione fornito.

  5. Usa l'ID per:

    • Apri l'interfaccia utente di YARN ResourceManager Live. L'URI appare come segue: http: //:8088/cluster/app/ resourcemanager-host application_id

    • Apri l'interfaccia utente di Spark History Server per esaminare i dettagli di esecuzione dell'applicazione.

    • Accedi ai log dei container nel tuo bucket S3 tramite i percorsi contrassegnati dall'ID dell'applicazione.

Utilizzando Yarn application ID, puoi semplificare il processo di debug e collegare gli errori dei passaggi EMR di alto livello alle esecuzioni delle applicazioni Yarn sottostanti.