Etapas de depuração do EMR usando o aplicativo YARN IDs - Amazon EMR
ID do aplicativo YARN

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Etapas de depuração do EMR usando o aplicativo YARN IDs

Uma forma eficaz de depurar etapas que iniciam aplicativos baseados em Yarn (como etapas do Spark) é aproveitar as informações de ID do aplicativo Yarn disponíveis no console do Amazon EMR.

ID do aplicativo YARN

Para etapas que executam o Spark ou outras tarefas baseadas no YARN, o console do EMR mostra o ID do aplicativo YARN executado mais recentemente nos detalhes da etapa. Se uma etapa iniciar vários aplicativos YARN, somente o último ID do aplicativo executado será exibido.

Por que usar o aplicativo Yarn IDs para depuração?

  • Você pode correlacionar diretamente as etapas do EMR aos aplicativos do Yarn: identifique exatamente qual aplicativo do Yarn corresponde a uma etapa problemática ou interessante.

  • Você pode acessar as ferramentas de monitoramento ao vivo: use o ID do aplicativo para abrir a interface do YARN ResourceManager Live ou a interface do Spark History Server para inspecionar aplicativos em execução ou concluídos.

  • Você pode recuperar registros para solucionar problemas detalhados: use o ID do aplicativo para encontrar registros de contêineres armazenados no S3, associados a esse aplicativo, que ajudam você a se aprofundar em falhas ou problemas de desempenho.

Você pode usar essas informações de várias maneiras:

  1. Navegue até a guia Etapas do seu cluster EMR.

  2. Clique na etapa que você deseja depurar.

  3. Localize a seção Yarn Application ID no painel de detalhes da etapa.

  4. Copie o ID do aplicativo fornecido.

  5. Use o ID para:

    • Abra a interface do YARN ResourceManager Live. O URI tem a seguinte aparência: http: //:8088/cluster/app/ resourcemanager-host application_id

    • Abra a interface do Spark History Server para revisar os detalhes da execução do aplicativo.

    • Acesse os registros do contêiner em seu bucket do S3 em caminhos marcados pelo ID do aplicativo.

Ao usar o ID do aplicativo Yarn, você pode simplificar seu processo de depuração e conectar falhas de etapas de alto nível do EMR às execuções subjacentes do aplicativo Yarn.