查看应用程序历史记录。 - Amazon EMR

查看应用程序历史记录。

您可以在控制台中使用集群详细信息页面的 Application user interfaces (应用程序用户界面) 选项卡查看 Spark 历史记录服务器和 YARN 时间线服务应用程序的详细信息。Amazon EMR 应用程序历史记录可让您更轻松地对活动的任务和任务历史记录进行故障排除和分析。

Application user interfaces (应用程序用户界面) 选项卡提供多个查看选项:

  • 集群外访问持久性应用程序用户界面 – 从 Amazon EMR 版本 5.25.0 开始,Spark 可以使用持久性应用程序用户界面链接。对于 Amazon EMR 版本 5.30.1 及更高版本,Tez UI 和 YARN 时间线服务器也具有持久性应用程序用户界面。YARN 时间线服务器和 Tez UI 是开源应用程序,可提供适用于活动的和已终止的集群的指标。Spark 用户界面提供有关计划程序阶段和任务、RDD 大小和内存使用情况的详细信息、环境信息以及有关正在运行的执行程序的信息。持久性应用程序 UI 是在集群外运行的,因此集群信息和日志在应用程序终止后 30 天内可用。与集群上的应用程序用户界面不同,持久性应用程序 UI 不要求您通过 SSH 连接设置 Web 代理。

  • 集群上的应用程序用户界面 – 可以在集群上运行的应用程序历史记录用户界面各种各样。集群上的用户界面托管在主节点上,并要求您设置到 Web 服务器的 SSH 连接。应用程序终止后,集群上的应用程序用户界面将应用程序历史记录保留一周。有关设置 SSH 隧道的更多信息和说明,请参阅查看 Amazon EMR 集群上托管的 Web 界面

    除了 Spark 历史记录服务器、YARN 时间线服务器和 Hive 应用程序之外,只能在集群运行时查看集群上的应用程序历史记录。

  • 高级应用程序历史记录 – 利用 Amazon EMR 版本 5.8.0 或更高版本,您可以在 EMR 控制台中查看应用程序历史记录的摘要,包括阶段任务和执行程序的关键指标。应用历史记录摘要对所有 YARN 应用程序都可用。为 Spark 应用程序提供了其它详细信息,而这些详细信息只是可通过 Spark 应用程序 UI 获得的信息的一部分。