클러스터 보기 및 모니터링 - Amazon EMR

클러스터 보기 및 모니터링

Amazon EMR은 클러스터에 대한 정보를 수집하는 데 사용할 수 있는 몇 가지 도구를 제공합니다. 콘솔, CLI 또는 프로그래밍 방식으로 클러스터에 대한 정보에 액세스할 수 있습니다. 표준 Hadoop 웹 인터페이스 및 로그 파일은 프라이머리 노드에서 사용할 수 있습니다. 또한 CloudWatch 및 Ganglia 같은 모니터링 서비스를 사용하여 클러스터의 성능을 추적할 수 있습니다.

Amazon EMR 5.25.0부터 Spark 기록 서버용 “영구” 애플리케이션 UI를 사용하는 콘솔에서 애플리케이션 이력을 사용할 수도 있습니다. Amazon EMR 6.x에서는 영구 YARN 타임라인 서버 및 Tez 사용자 인터페이스를 사용할 수도 있습니다. 이러한 서비스는 클러스터 외부에서 호스팅되므로 SSH 연결이나 웹 프록시 없이도 클러스터가 종료된 후 30일 동안 애플리케이션 이력에 액세스할 수 있습니다. 애플리케이션 기록 보기를 참조하세요.