访问 Spark Web UI

您可以按照《Amazon EMR 管理指南》中名为 “连接到集群” 一节中的创建 SSH 隧道或创建代理的过程查看 Spark Web 用户界面，然后导航到集群的 YARN ResourceManager 。在 Tracking UI (跟踪 UI) 下选择适合您的应用程序的链接。如果您的应用程序正在运行，则会看到ApplicationMaster。这会将您带到主应用程序的 Web UI，在端口 20888 上，无论驱动程序位于何处都是如此。如果您在 YARN 客户端模式下运行，则驱动程序可能会位于集群的主节点上。如果您在 YARN 集群模式下运行应用程序，则驱动程序位于集群上应用程序 ApplicationMaster 的驱动程序中。如果您的应用程序已完成，您将看到历史记录，它会将您带到位于 EMR 集群主节点 18080 的 Spark HistoryServer UI 端口号。这适用于已经完成的应用程序。你也可以直接通过 http: //: 18080/ master-public-dns-name导航到 Spark HistoryServer 用户界面。

在 Amazon EMR 发行版 5.25.0 或更高版本中，可以从控制台访问 Spark 历史记录服务器 UI，而无需通过 SSH 连接设置 Web 代理。有关更多信息，请参阅查看持久性应用程序用户界面。