Amazon EMR 클러스터에 호스팅된 웹 인터페이스 보기 - Amazon EMR

Amazon EMR 클러스터에 호스팅된 웹 인터페이스 보기

중요

이러한 웹 인터페이스에 대한 인바운드 액세스를 허용하도록 사용자 지정 보안 그룹을 구성할 수 있습니다. 인바운드 트래픽을 허용하는 모든 포트는 잠재적인 보안 취약성을 나타낸다는 점에 유의하십시오. 취약점들을 최소한으로 줄일 수 있도록 사용자 지정 보안 그룹을 신중하게 검토하십시오. 자세한 내용은 보안 그룹에서 네트워크 트래픽 제어 섹션을 참조하세요.

EMR 클러스터에 설치되는 Hadoop 및 기타 애플리케이션은 프라이머리 노드에 호스팅된 웹 사이트로 사용자 인터페이스를 게시합니다. 보안상의 이유로 Amazon EMR 관리형 보안 그룹을 사용하는 경우 이러한 웹 사이트는 프라이머리 노드의 로컬 웹 서버에서만 사용할 수 있습니다. 따라서 웹 인터페이스를 보려면 프라이머리 노드에 연결해야 합니다. 자세한 내용은 SSH를 사용하여 프라이머리 노드에 연결 섹션을 참조하세요. 또한 하둡은 코어 및 작업 노드에 호스팅되는 웹 사이트로 사용자 인터페이스를 게시합니다. 이 웹 사이트는 노드의 로컬 웹 서버에서만 사용할 수도 있습니다.

다음 표에는 클러스터 인스턴스에서 볼 수 있는 웹 인터페이스가 나열되어 있습니다. 이 Hadoop 인터페이스는 모든 클러스터에서 사용할 수 있습니다. 프라이머리 인스턴스 인터페이스의 경우 master-public-dns-name을 Amazon EMR 콘솔의 클러스터 요약 탭에 나열된 마스터 퍼블릭 DNS로 바꿉니다. 코어 및 작업 인스턴스 인터페이스의 경우 coretask-public-dns-name을 인스턴스에 대해 나열된 퍼블릭 DNS 이름으로 바꿉니다. 인스턴스의 퍼블릭 DNS 이름을 찾으려면 Amazon EMR 콘솔의 목록에서 클러스터를 선택하고, 하드웨어 탭을 선택한 후, 연결할 인스턴스가 포함되어 있는 인스턴스 그룹의 ID를 선택하고, 인스턴스에 대해 나열된 퍼블릭 DNS 이름을 기록합니다.

인터페이스의 이름

URI
Flink 기록 서버(EMR 버전 5.33 이상) http://master-public-dns-name:8082/
Ganglia http://master-public-dns-name/ganglia/
Hadoop HDFS NameNode(EMR 6.x 이전 버전) https://master-public-dns-name:50470/
Hadoop HDFS NameNode http://master-public-dns-name:50070/
Hadoop HDFS DataNode http://coretask-public-dns-name:50075/
Hadoop HDFS NameNode(EMR 6.x 버전) https://master-public-dns-name:9870/
Hadoop HDFS DataNode(EMR 6.x 이전 버전) https://coretask-public-dns-name:50475/
Hadoop HDFS DataNode(EMR 6.x 버전) https://coretask-public-dns-name:9865/
HBase http://master-public-dns-name:16010/
Hue http://master-public-dns-name:8888/
JupyterHub https://master-public-dns-name:9443/
Livy http://master-public-dns-name:8998/
Spark HistoryServer http://master-public-dns-name:18080/
Tez의 Hive 실행 시간 비교 http://master-public-dns-name:8080/tez-ui
YARN NodeManager http://coretask-public-dns-name:8042/
YARN ResourceManager http://master-public-dns-name:8088/
Zeppelin http://master-public-dns-name:8890/

코어 및 태스크 노드에서 사용할 수 없는 일부 애플리케이션별 인터페이스가 프라이머리 노드에서 사용 가능하므로 이 문서의 지침은 Amazon EMR 프라이머리 노드에만 해당됩니다. 코어 및 태스크 노드의 웹 인터페이스에 액세스하는 방법은 프라이머리 노드의 웹 인터페이스에 액세스하는 방법과 동일합니다.

프라이머리 노드의 웹 인터페이스에 액세스할 수 있는 몇 가지 방법이 있습니다. 가장 쉽고 빠른 방법은 SSH를 사용하여 프라이머리 노드에 연결하고 텍스트 기반 브라우저인 Lynx를 사용하여 SSH 클라이언트의 웹 사이트를 보는 것입니다. 그러나 Lynx는 그래픽을 표시할 수 없는 제한된 사용자 인터페이스가 포함된 텍스트 기반 브라우저입니다. 다음 예제는 Lynx를 사용하여 Hadoop ResourceManager 인터페이스를 여는 방법을 보여줍니다(Lynx URL은 SSH를 사용하여 프라이머리 노드에 로그인할 때도 제공됨).

lynx http://ip-###-##-##-###.us-west-2.compute.internal:8088/

전체 브라우저 기능을 제공하는 프라이머리 노드의 웹 인터페이스에 액세스하기 위한 나머지 두 가지 옵션이 있습니다. 다음 중 하나를 선택합니다.

  • 옵션 1(기술 관련 사용자에게 권장): SSH 클라이언트를 사용하여 프라이머리 노드에 연결하고, 로컬 포트 전달을 사용하여 SSH 터널링을 구성하고, 인터넷 브라우저를 사용하여 프라이머리 노드에서 호스팅되는 웹 인터페이스를 엽니다. 이 방법을 사용하면 SOCKS 프록시를 사용하지 않고도 웹 인터페이스 액세스를 구성할 수 있습니다.

  • 옵션 2(신규 사용자에게 권장): SSH 클라이언트를 사용하여 프라이머리 노드에 연결하고, 동적 포트 전달을 사용하여 SSH 터널링을 구성하며, Firefox용 FoxyProxy 또는 Chrome용 SwitchyOmega 같은 추가 기능을 사용하여 SOCKS 프록시 설정을 관리하도록 인터넷 브라우저를 구성합니다. 이 방법을 사용하면 텍스트 패턴을 기반으로 URL을 자동으로 필터링하고 프록시 설정을 프라이머리 노드의 DNS 이름 형식과 일치하는 도메인으로 제한할 수 있습니다. Firefox 및 Google Chrome용 FoxyProxy를 구성하는 방법에 대한 자세한 내용은 옵션 2, 파트 2: 프라이머리 노드에 호스팅된 웹 사이트를 표시하도록 프록시 설정 구성를 참조하십시오.

참고

클러스터 구성을 통해 애플리케이션이 실행되는 포트를 수정하는 경우 Amazon EMR 콘솔에서 포트에 대한 하이퍼링크가 업데이트되지 않습니다. 콘솔에 server.port 구성을 읽을 수 있는 기능이 없기 때문입니다.

Amazon EMR 버전 5.25.0 이상에서는 SSH 연결을 통해 웹 프록시를 설정하지 않고도 콘솔에서 Spark 기록 서버 UI에 액세스할 수 있습니다. 자세한 내용은 영구 Spark 기록 서버에 대한 원클릭 액세스를 참조하세요.

주제