查看 Amazon EMR 集群上托管的 Web 界面 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

查看 Amazon EMR 集群上托管的 Web 界面

重要

可以配置自定义安全组以允许对这些 Web 界面的入站访问。请记住,允许入站流量的任何端口都表示潜在的安全漏洞。仔细查看自定义安全组以确保最大程度地减少漏洞。有关更多信息,请参阅使用安全组控制网络流量

安装在 Amazon EMR 集群上的 Hadoop 和其他应用程序会将用户界面发布为主节点上托管的网站。出于安全原因,在使用 EMR 托管的安全组时,这些网站仅在主节点的本地 Web 服务器上可用,因此您需要连接到主节点才能查看它们。有关更多信息,请参阅使用 SSH 连接到主节点。Hadoop 还会将用户界面作为托管在核心节点和任务节点上的网站进行发布。这些网站仅在节点上的本地 Web 服务器上可用。

下表列出了您可以在集群实例上查看的 Web 界面。这些 Hadoop 接口可用于所有 集群。对于主实例接口,替换 master-public-dns-name 在 EMR 控制台的群集 Summary (摘要) 选项卡上列出了 Master public DNS (主节点公有 DNS)。对于核心和任务实例接口,替换 coretask-public-dns-name 替换为为实例列出的公有 DNS 名称。要查找实例的公有 DNS 名称,请在 EMR 控制台中,从列表中选择您的集群,选择 Hardware (硬件) 选项卡,选择包含要连接到的实例的实例组 ID,然后记下为该实例列出的 Public DNS (公有 DNS) 名称

接口的名称

URI

Flink 历史记录服务器 (EMR 版本 5.33 及更高版本) http://master-public-dns-name:8082/
Ganglia http://master-public-dns-name/ganglia/
Hadoop HDFS NameNode pre-6版本) https://master-public-dns-name:50470/
Hadoop HDFS NameNode http://master-public-dns-name:50070/
Hadoop HDFS DataNode http://coretask-public-dns-name:50075/
Hadoop HDFS NameNode 版本 6.x) https://master-public-dns-name:9871/
Hadoop HDFS DataNode 版本 pre-6版本) https://coretask-public-dns-name:50475/
Hadoop HDFS DataNode (EMR 版本 6.x) https://coretask-public-dns-name:9865/
HBase http://master-public-dns-name:16010/
Hue http://master-public-dns-name:8888/
JupyterHub https://master-public-dns-name:9443/
Livy http://master-public-dns-name:8998/
Spark HistoryServer http://master-public-dns-name:18080
Tez http://master-public-dns-name:8080/tez-ui
YARN NodeManager http://coretask-public-dns-name:8042/
YARN ResourceManager http://master-public-dns-name:8088/
Zeppelin http://master-public-dns-name:8890/

因为主节点上有几个特定于应用程序的界面在核心和任务节点上不可用,所以本文档中的说明特定于 Amazon EMR 主节点。访问核心和任务节点上的 Web 界面的方式与访问主节点上的 Web 界面的方式相同。

您可以通过多种方式访问主节点上的 Web 界面。最简单、最快的方法是使用 SSH 连接到主节点,并使用基于文本的浏览器 Lync 查看 SSH 客户端中的网站。但是,Lynx 是一个基于文本的浏览器,具有有限的用户界面,无法显示图形。以下示例说明如何使用 Lync 打开 Hadoop ResourceManager 界面 (在您使用 SSH 登录主节点时,还提供了 Lync URLs

lynx http://ip-###-##-##-###.us-west-2.compute.internal:8088/

访问主节点上提供完整浏览器功能的 Web 界面有剩余两个选项。选择以下选项之一:

  • 选项 1(建议供更多技术用户使用):使用 SSH 客户端连接到主节点,使用本地端口转发配置 SSH 隧道,并使用 Internet 浏览器打开主节点上托管的 Web 界面。此方法允许您配置 Web 界面访问,而无需使用 SOCKS 代理。

  • 选项 2 (建议新用户使用):使用 SSH 客户端连接到主节点,使用动态端口转发配置 SSH 隧道,并将 Internet 浏览器配置为使用附加组件 (如适用于 Firefox 的 FoxyProxy 或适用于 Chrome 的 SwitchyOmega) 来管理 SOCKS 代理设置。此方法可让您根据文本模式自动筛选 URLs并将代理设置限制为与主节点的 DNS 名称格式匹配的域。有关如何为 Firefox 和 Google Chrome 配置 FoxyProxy 的更多信息,请参阅选项 2,第 2 部分:配置代理设置以查看主节点上托管的网站

使用 Amazon EMR 5.25.0 或更高版本,可以从控制台访问 Spark 历史记录服务器 UI,而无需通过 SSH 连接设置 Web 代理。有关更多信息,请参阅一键访问持久性 Spark 历史记录服务器