查看高级别应用程序历史记录 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

查看高级别应用程序历史记录

注意

建议您使用持久性应用程序界面来改善用户体验,应用程序历史记录可保留长达 30 天。此页面上描述的高级应用程序历史记录在新的 Amazon EMR 控制台 (https://console.aws.amazon.com/emr) 中不可用。有关更多信息,请参阅 查看持久性应用程序用户界面

对于亚马逊EMR版本 5.8.0 到 5.36.0 和 6.8.0 之前的 6.x 版本,您可以从旧亚马逊控制台的 “应用程序用户界面” 选项卡中查看高级应用程序历史记录。EMREMR应用程序完成后,Amazon 应用程序用户界面会将应用程序历史记录摘要保存 7 天。

注意事项和限制

在旧版 Amazon EMR 控制台中使用应用程序用户界面选项卡时,请考虑以下限制。

  • 只有在使用亚马逊EMR版本 5.8.0 到 5.36.0 和 6.8.0 之前的 6.x 版本时,您才能访问高级应用程序历史记录功能。自 2023 年 1 月 23 日起,Amazon EMR 将停止所有版本的高级应用程序历史记录。如果您使用的是 Amazon 5.25.0 或更高EMR版本,我们建议您改用永久应用程序用户界面。

  • 高级别应用程序历史记录功能不支持 Spark Streaming 应用程序。

  • 对于具有多个主节点的 Amazon 集群或与之集成的亚马逊EMR集群,目前无法一键访问永久应用程序用户界面 EMR AWS Lake Formation.

示例:查看高级别应用程序历史记录

以下序列演示了使用旧控制台集群详细信息页面上的 “YARN应用程序用户界面” 选项卡在 Spark 或应用程序中向下钻取作业详细信息。

要查看集群详细信息,请从 Clusters (集群) 列表中选择集群 Name (名称)。要查看有关YARN容器日志的信息,您必须为集群启用日志记录。有关更多信息,请参阅配置集群日志记录和调试。对于 Spark 应用程序历史记录,摘要表中提供的信息只是通过 Spark 历史记录服务器 UI 提供的信息的一个子集。

High-level application history (高级别应用程序历史记录) 下的 Application user interfaces (应用程序用户界面) 选项卡下,您可以展开一行以显示 Spark 应用程序的诊断摘要,或选择 Application ID (应用程序 ID) 链接以查看有关不同应用程序的详细信息。

Application user interfaces tab showing persistent and on-集群 UIs, with YARN application history.

当您选择应用程序 ID 链接时,用户界面会发生变化,显示该YARN应用程序的应用程序详细信息。在YARN应用程序详细信息的 “作业” 选项卡中,您可以选择作业的描述链接以显示该作业的详细信息。

YARN application details showing job history with completed Spark tasks and their statuses.

在任务详细信息页面上,您可以展开有关各个任务阶段的信息,然后选择 Description (描述) 链接以查看阶段详细信息。

EMR 集群 interface showing persistent and on-集群 application UIs, with job details and stages.

在阶段详细信息页面上,您可以查看阶段任务和执行程序的关键指标。您还可以使用 View logs (查看日志) 链接查看任务和执行程序日志。

Application history page showing task metrics, executor details, and log access links for a Spark job.