Spark 웹 UI에 액세스

Amazon EMR 관리 안내서의 클러스터에 연결이라는 섹션에서 SSH 터널을 생성하거나 프록시를 생성하는 절차를 수행한 다음 클러스터의 YARN으로 이동하여 Spark 웹 UI를 볼 수 있습니다. ResourceManager 애플리케이션의 Tracking UI(추적 UI)에서 링크를 선택합니다. 애플리케이션이 실행 중이면 알 수 있습니다. ApplicationMaster ApplicationMaster는 드라이버가 있는 경우 언제든지 포트 20888의 애플리케이션 마스터 웹 UI로 안내합니다. YARN 클라이언트 모드로 실행하는 경우 드라이버는 클러스터의 프라이머리 노드에 있을 수 있습니다. YARN 클러스터 모드에서 애플리케이션을 실행하는 경우 드라이버는 클러스터의 ApplicationMaster 애플리케이션용 에 있습니다. 애플리케이션이 완료되면 히스토리가 표시됩니다. 그러면 EMR 클러스터 기본 노드의 18080에 있는 Spark HistoryServer UI 포트 번호로 이동합니다. 이 설명은 이미 완료된 애플리케이션에 적용됩니다. http: //:18080/에서 Spark HistoryServer UI로 직접 이동할 수도 있습니다. master-public-dns-name

Amazon EMR 릴리스 5.25.0 이상에서는 SSH 연결을 통해 웹 프록시를 설정하지 않고도 콘솔에서 Spark 기록 서버 UI에 액세스할 수 있습니다. 자세한 내용은 영구 애플리케이션 사용자 인터페이스 보기를 참조하세요.