查看 Amazon EMR 集群上托管的网页界面 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

查看 Amazon EMR 集群上托管的网页界面

重要

可以配置自定义安全组,以允许对这些 Web 界面的入站访问。请记住,您允许入站流量通过的任何端口,都代表着潜在的安全漏洞。请仔细检查自定义安全组,以确保您最大限度地减少漏洞。有关更多信息,请参阅 使用安全组控制网络流量

Hadoop 和您在EMR集群上安装的其他应用程序将用户界面发布为托管在主节点上的网站。出于安全考虑,使用 Amazon EMR 托管安全组时,这些网站只能在主节点的本地 Web 服务器上使用。因此,您需要连接到主节点才能查看 Web 界面。有关更多信息,请参阅 使用 Connect 连接到主节点 SSH。Hadoop 还将用户界面发布为托管在核心节点和任务节点上的网站。这些网站也仅在节点上的本地 Web 服务器上可用。

下表列出了您可以在集群实例上查看的 Web 界面。这些 Hadoop 界面在所有集群上均可用。对于主实例接口,请替换 master-public-dns-name Master public DNS 列在 Amazon EMR 控制台的集群摘要选项卡上。对于核心和任务实例接口,请替换 coretask-public-dns-name 并列出了该实例的公共DNS名称。要查找实例的公用DNS名称,请在 Amazon EMR 控制台中,从列表中选择您的集群,选择硬件选项卡,选择包含您要连接的实例的实例组的 ID,然后记下列出的该实例的公用DNS名称

界面名称

URI

Flink 历史服务器(EMR版本 5.33 及更高版本) http://master-public-dns-name:8082/
Ganglia http://master-public-dns-name/ganglia/
Hadoop HDFS NameNode (6.x 之前的EMR版本) https://master-public-dns-name:50470/
Hadoop HDFS NameNode http://master-public-dns-name:50070/
Hadoop HDFS DataNode http://coretask-public-dns-name:50075/
Hadoop HDFS NameNode (EMR版本 6.x) https://master-public-dns-name:9870/
Hadoop HDFS DataNode (6.x 之前的EMR版本) https://coretask-public-dns-name:50475/
Hadoop HDFS DataNode (EMR版本 6.x) https://coretask-public-dns-name:9865/
HBase http://master-public-dns-name:16010/
Hue http://master-public-dns-name:8888/
JupyterHub https://master-public-dns-name:9443/
Livy http://master-public-dns-name:8998/
火花 HistoryServer http://master-public-dns-name:18080/
Tez http://master-public-dns-name:8080/tez-ui
YARN NodeManager http://coretask-public-dns-name:8042/
YARN ResourceManager http://master-public-dns-name:8088/
Zeppelin http://master-public-dns-name:8890/

由于主节点上有多个特定于应用程序的接口在核心和任务节点上不可用,因此本文档中的说明特定于 Amazon EMR 主节点。访问核心节点和任务节点上 Web 界面的方式与访问主节点上 Web 界面的方式相同。

您可以通过多种方式访问主节点上的 Web 界面。最简单、最快捷的方法是使用SSH连接到主节点,然后使用基于文本的浏览器 Lynx 在客户端中查看网站。SSH但是,Lynx 是一个基于文本的浏览器,用户界面有限,无法显示图形。以下示例说明如何使用 Lynx 打开 Hadoop ResourceManager 界面(当您使用登录主URLs节点时还会提供 Lynx)。SSH

lynx http://ip-###-##-##-###.us-west-2.compute.internal:8088/

还有两个其他选项可用于访问提供完整浏览器功能的主节点上的 Web 界面。选择以下操作之一:

  • 选项 1(建议更多技术用户使用):使用SSH客户端连接到主节点,使用本地端口转发配置SSH隧道,并使用 Internet 浏览器打开主节点上托管的 Web 界面。此方法允许您在不使用SOCKS代理的情况下配置 Web 界面访问权限。

  • 选项 2(建议新用户使用):使用SSH客户端连接到主节点,使用动态端口转发配置SSH隧道,并将您的互联网浏览器配置 FoxyProxy 为使用插件(例如 Firefox 或 SwitchyOmega Chrome)来管理您的SOCKS代理设置。此方法允许您URLs根据文本模式自动进行筛选,并将代理设置限制为与主节点DNS名称形式相匹配的域。有关如何为 Firefox 和 Google Chrome FoxyProxy 进行配置的更多信息,请参阅选项 2,第 2 部分:配置代理设置以查看主节点上托管的网站。

注意

如果您通过集群配置修改应用程序运行的端口,则指向该端口的超链接将不会在 Amazon EMR 控制台中更新。这是因为控制台没有读取 server.port 配置的功能。

在 Amazon 5.25.0 或更高EMR版本中,您可以从控制台访问 Spark 历史服务器用户界面,而无需通过连接设置网络代理。SSH有关更多信息,请参阅一键访问持久性 Spark 历史记录服务器