檢視託管在 Amazon EMR叢集上的 Web 介面 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

檢視託管在 Amazon EMR叢集上的 Web 介面

重要

您可以設定自訂安全群組,以允許傳入存取這些 Web 界面。請注意,允許傳入流量的任何連接埠都代表潛在安全漏洞。請詳閱自訂安全群組,以確保您將漏洞數量降至最低。如需詳細資訊,請參閱使用 Amazon EMR叢集的安全群組控制網路流量

您在EMR叢集上安裝的 Hadoop 和其他應用程式會將使用者介面發佈為託管在主要節點上的網站。基於安全考量,使用 Amazon EMR Managed Security Groups 時,這些網站只能在主要節點的本機 Web 伺服器上使用。因此,需要連接到主節點以查看 Web 介面。如需詳細資訊,請參閱使用 連線至 Amazon EMR叢集主節點 SSH。Hadoop 也發行使用者界面做為網站,並在核心節點和任務節點上託管。這些網站也僅適用於本機 Web 伺服器的節點。

下表列出可在叢集執行個體上檢視的 Web 界面。這些 Hadoop 界面可適用於所有叢集。對於主要執行個體介面,請取代 master-public-dns-name Amazon EMR主控台中叢集摘要索引標籤上列出的主公DNS有。對於核心和任務執行個體介面,請取代 coretask-public-dns-name 並列出執行個體的公有DNS名稱。若要尋找執行個體的公有DNS名稱 ,請在 Amazon EMR主控台中,從清單中選擇叢集、選擇硬體索引標籤、選擇包含您要連線之執行個體的執行個體群組 ID,然後記下執行個體列出的公有DNS名稱

界面的名稱

URI

Flink 歷史記錄伺服器 (EMR 5.33 版及更新版本) http://master-public-dns-name:8082/
Ganglia http://master-public-dns-name/ganglia/
Hadoop HDFS NameNode (EMR 6.x 之前版本) https://master-public-dns-name:50470/
Hadoop HDFS NameNode http://master-public-dns-name:50070/
Hadoop HDFS DataNode http://coretask-public-dns-name:50075/
Hadoop HDFS NameNode (EMR 6.x 版) https://master-public-dns-name:9870/
Hadoop HDFS DataNode (EMR 6.x 之前版本) https://coretask-public-dns-name:50475/
Hadoop HDFS DataNode (EMR 6.x 版) https://coretask-public-dns-name:9865/
HBase http://master-public-dns-name:16010/
Hue http://master-public-dns-name:8888/
JupyterHub https://master-public-dns-name:9443/
Livy http://master-public-dns-name:8998/
Spark HistoryServer http://master-public-dns-name:18080/
Tez http://master-public-dns-name:8080/tez-ui
YARN NodeManager http://coretask-public-dns-name:8042/
YARN ResourceManager http://master-public-dns-name:8088/
Zeppelin http://master-public-dns-name:8890/

由於主節點上有一些應用程式特定的介面在核心和任務節點上無法使用,因此本文件中的說明是 Amazon EMR主節點專用。在核心和任務節點上存取 Web 介面,可以透過與您在主節點上存取 Web 介面的相同方式完成。

有多種可以在主節點上存取 Web 介面的方法。最簡單且最快速的方法是使用 SSH連線到主要節點,並使用文字型瀏覽器 Lynx 檢視SSH用戶端中的網站。不過,Lynx 是以文字為基礎的瀏覽器,其使用者介面有無法顯示圖形的限制。下列範例示範如何使用 Lynx 開啟 Hadoop ResourceManager 介面 (當您使用 登入主要節點時URLs,也會提供 LynxSSH)。

lynx http://ip-###-##-##-###.us-west-2.compute.internal:8088/

還有兩個選項可在主節點上存取 Web 介面,它們可提供完整的瀏覽器功能。選擇下列其中一項:

  • 選項 1 (建議更多技術使用者使用):使用SSH用戶端連線至主要節點、使用本機連接埠轉送設定SSH通道,並使用網際網路瀏覽器開啟託管在主要節點上的 Web 介面。此方法可讓您設定 Web 介面存取,而無需使用SOCKS代理。

  • 選項 2 (建議新使用者使用):使用SSH用戶端連線至主要節點、使用動態連接埠轉送設定SSH通道,以及設定網際網路瀏覽器使用 Firefox FoxyProxy 或 SwitchyOmega Chrome 等附加元件來管理您的SOCKS代理設定。此方法可讓您URLs根據文字模式自動篩選,並將代理設定限制為符合主要節點DNS名稱形式的網域。如需如何 FoxyProxy 設定 Firefox 和 Google Chrome 的詳細資訊,請參閱 選項 2,第 2 部分:設定代理設定以檢視託管在 Amazon EMR叢集主節點上的網站

注意

如果您修改應用程式透過叢集組態執行的連接埠,Amazon EMR主控台中將不會更新連接埠的超連結。這是因為主控台沒有讀取 server.port 組態的功能。

使用 Amazon EMR 5.25.0 版或更新版本,您可以從主控台存取 Spark 歷史記錄伺服器 UI,而無需透過SSH連線設定 Web 代理。如需詳細資訊,請參閱一鍵式存取持續性 Spark 歷史記錄伺服器