使用 YARN 應用程式 IDs 偵錯 EMR 步驟 - Amazon EMR
YARN 應用程式 ID

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 YARN 應用程式 IDs 偵錯 EMR 步驟

啟動 YARN 型應用程式 （例如 Spark 步驟） 的一個有效偵錯步驟是利用 Amazon EMR 主控台中可用的 Yarn 應用程式 ID 資訊。

YARN 應用程式 ID

對於執行 Spark 或其他 YARN 型任務的步驟，EMR 主控台會在步驟詳細資訊中顯示最近執行的 YARN 應用程式 ID。如果步驟啟動多個 YARN 應用程式，則只會顯示上次執行的應用程式 ID。

為什麼使用 Yarn 應用程式 IDs進行偵錯？

  • 您可以直接將 EMR 步驟與 Yarn 應用程式建立關聯：識別確切哪些 Yarn 應用程式對應至有問題或有趣的步驟。

  • 您可以存取即時監控工具：使用應用程式 ID 開啟 YARN ResourceManager Live UI 或 Spark 歷史記錄伺服器 UI，以檢查執行中或已完成的應用程式。

  • 您可以擷取日誌以進行詳細故障診斷：使用應用程式 ID 尋找與該應用程式相關聯的存放在 S3 中的容器日誌，以協助您深入了解故障或效能問題。

您可以透過各種方式使用此資訊：

  1. 導覽至 EMR 叢集的步驟索引標籤。

  2. 按一下您要偵錯的步驟。

  3. 在步驟詳細資訊面板中尋找 Yarn 應用程式 ID 區段。

  4. 複製提供的應用程式 ID。

  5. 使用 ID 來：

    • 開啟 YARN ResourceManager Live UI。URI 如下所示：http：//resourcemanager-host：8088/cluster/app/application_id

    • 開啟 Spark 歷史記錄伺服器 UI 來檢閱應用程式執行詳細資訊。

    • 在應用程式 ID 標記的路徑下存取 S3 儲存貯體中的容器日誌。

透過使用 Yarn 應用程式 ID，您可以簡化偵錯程序，並將高階 EMR 步驟失敗連接到基礎 Yarn 應用程式執行。