기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Studio를 사용하여 EMR 애플리케이션 및 작업을 디버깅합니다.
Amazon EMR Studio를 사용하면 데이터 애플리케이션 인터페이스를 실행하여 브라우저에서 애플리케이션 및 작업 실행을 분석할 수 있습니다.
Amazon EMR 콘솔에서 클러스터에서 EMR 실행되는 Amazon용 영구 클러스터 외부 사용자 인터페이스를 시작할 수도 있습니다. EC2 자세한 내용은 영구 애플리케이션 사용자 인터페이스 보기 단원을 참조하십시오.
참고
브라우저 설정에 따라 애플리케이션 UI를 열려면 팝업을 활성화해야 할 수 있습니다.
애플리케이션 인터페이스 구성 및 사용에 대한 자세한 내용은 YARN타임라인 서버
Amazon 작업에서 EMR 실행 중인 Amazon 디버깅 EC2
서버리스에서 EMR 실행되는 디버그 EMR 스튜디오
Amazon에서 EMR 실행되는 EC2 Amazon과 마찬가지로 Workspace 사용자 인터페이스를 사용하여 EMR 서버리스 애플리케이션을 분석할 수 있습니다. 워크스페이스 UI에서 Amazon EMR 릴리스 6.14.0 이상을 사용하는 경우 워크스페이스의 노트북에서 Spark 웹 사용자 인터페이스 (Spark UI 또는 Spark 히스토리 서버) 를 시작할 수 있습니다. 편의를 위해 Spark 드라이버 로그에 빠르게 액세스할 수 있는 드라이버 로그 링크도 제공합니다.
Spark 히스토리 서버로 EKS 작업 실행 EMR 시 Amazon을 디버깅합니다.
Amazon EMR on EKS 클러스터에 작업 실행을 제출하면 Spark 기록 서버를 사용하여 해당 작업 실행에 대한 로그에 액세스할 수 있습니다. Spark History Server는 스케줄러 단계 및 작업 목록, RDD 크기 및 메모리 사용량 요약, 환경 정보 등 Spark 애플리케이션을 모니터링하기 위한 도구를 제공합니다. 다음과 같은 방법으로 EKS 작업 실행 EMR 시 Amazon용 Spark 기록 서버를 시작할 수 있습니다.
-
EKS관리형 EMR 엔드포인트에서 Amazon과 함께 EMR Studio를 사용하여 작업 실행을 제출하면 작업 공간의 노트북 파일에서 Spark 기록 서버를 시작할 수 있습니다.
-
AWS CLI 또는 AWS SDK Amazon EMR EKS on을 사용하여 작업 실행을 제출하면 EMR Studio UI에서 Spark 기록 서버를 시작할 수 있습니다.
Spark 기록 서버를 사용하는 방법에 대한 자세한 내용은 Apache Spark 설명서에서 Monitoring and Instrumentation
EMR스튜디오 워크스페이스의 노트북 파일에서 Spark 히스토리 서버를 실행하려면
-
EKS클러스터의 EMR Amazon에 연결된 작업 공간을 엽니다.
-
Workspace에서 노트북 파일을 선택하고 엽니다.
-
노트북 파일 상단에서 Spark UI를 선택하여 새 탭에서 영구 Spark 기록 서버를 엽니다.
EMRStudio UI에서 Spark 히스토리 서버를 시작하려면
참고
EMRStudio UI의 작업 목록에는 EMR Amazon의 경우 AWS CLI 또는 AWS SDK 를 사용하여 제출한 작업 실행만 표시됩니다EKS.
-
EMR스튜디오에서 페이지 EMREKS왼쪽의 Amazon을 선택합니다.
-
작업 실행을 제출하는 데 사용한 Amazon EMR on EKS 가상 클러스터를 검색하십시오. 검색 상자에 값을 입력하여 상태 또는 ID별로 클러스터 목록을 필터링할 수 있습니다.
-
클러스터를 선택하여 세부 정보 페이지를 엽니다. 세부 정보 페이지에는 ID, 네임스페이스 및 상태와 같은 클러스터에 대한 정보가 표시됩니다. 이 페이지에는 해당 클러스터에 제출된 모든 작업 실행 목록도 표시됩니다.
-
클러스터 세부 정보 페이지에서 디버깅할 작업 실행을 선택합니다.
-
작업 목록의 오른쪽 상단에서 Spark 기록 서버 시작을 선택하여 새 브라우저 탭에서 애플리케이션 인터페이스를 엽니다.