查看高级别应用程序历史记录 - Amazon EMR

查看高级别应用程序历史记录

注意

建议您使用持久性应用程序界面来改善用户体验,应用程序历史记录可保留长达 30 天。本页所介绍的高级别应用程序历史记录在 Amazon EMR 新控制台(https://console.aws.amazon.com/emr)中不可用。有关更多信息,请参阅查看持久性应用程序用户界面

对于 Amazon EMR 发行版 5.8.0 到 5.36.0 以及 6.8.0 或更低版本的 6.x 发行版,您可以从 Amazon EMR 旧控制台的 Application user interfaces(应用程序用户界面)选项卡查看高级别应用程序历史记录。在应用程序完成后,Amazon EMR Application user interface(应用程序用户界面)会将应用程序历史记录摘要保留七天。

注意事项和限制

当您使用旧版 Amazon EMR 控制台中的应用程序用户界面选项卡时,请注意以下限制。

  • 在使用 Amazon EMR 5.8.0 到 5.36.0 以及 6.8.0 或更低版本的 6.x 发行版时,您只能访问高级别应用程序历史记录功能。自 2023 年 1 月 23 日起,Amazon EMR 将停止所有版本的高级别应用程序历史记录。如果您使用 Amazon EMR 版本 5.25.0 或更高版本,我们建议您改用持久性应用程序用户界面。

  • 高级别应用程序历史记录功能不支持 Spark Streaming 应用程序。

  • 目前,具有多个主节点的 Amazon EMR 集群或与 AWS Lake Formation 集成的 EMR 集群不支持一键式访问持久性的应用程序用户界面。

示例:查看高级别应用程序历史记录

以下序列演示了如何使用旧控制台集群详细信息页面上的 Application user interfaces(应用程序用户界面)选项卡,通过 Spark 或 YARN 应用程序深入了解任务详细信息。

要查看集群详细信息,请从 Clusters (集群) 列表中选择集群 Name (名称)。要查看有关 YARN 容器日志的信息,您必须为集群启用日志记录。有关更多信息,请参阅配置集群日志记录和调试。对于 Spark 应用程序历史记录,摘要表中提供的信息只是通过 Spark 历史记录服务器 UI 提供的信息的一个子集。

High-level application history (高级别应用程序历史记录) 下的 Application user interfaces (应用程序用户界面) 选项卡下,您可以展开一行以显示 Spark 应用程序的诊断摘要,或选择 Application ID (应用程序 ID) 链接以查看有关不同应用程序的详细信息。

当您选择 Application ID (应用程序 ID) 链接时,UI 会更改以显示该应用程序的 YARN application (YARN 应用程序) 详细信息。在 YARN application (YARN 应用程序) 详细信息的 Jobs (任务) 选项卡中,您可以选择任务的 Description (描述) 链接以显示该任务的详细信息。

在任务详细信息页面上,您可以展开有关各个任务阶段的信息,然后选择 Description (描述) 链接以查看阶段详细信息。

在阶段详细信息页面上,您可以查看阶段任务和执行程序的关键指标。您还可以使用 View logs (查看日志) 链接查看任务和执行程序日志。