아마존 EMR 콘솔 - Amazon EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

아마존 EMR 콘솔

콘솔은 Amazon EMR 환경을 직관적으로 관리할 수 있는 방법을 제공하고 설명서, 제품 정보 및 기타 리소스에 편리하게 액세스할 수 있는 업데이트된 인터페이스를 제공합니다.

콘솔 기능

Amazon EMR 콘솔은 다음 URL에서 사용할 수 있습니다.

다음 표에는 기본 Amazon EMR 콘솔 구성 요소 상태가 나와 있습니다.

Amazon EMR 콘솔 구성 요소 콘솔

EMR Studio

클러스터 생성 및 관리

퍼블릭 액세스 차단

아마존 CloudWatch 이벤트 모니터링

보안 구성

가상 클러스터(Amazon EMR on EKS)

Amazon Virtual Private 클라우드 서브넷 보기 및 관리 1

노트북 2

1 콘솔에서 클러스터를 생성할 때 네트워킹 섹션 내에서 Amazon VPC 서브넷을 보고 관리할 수 있습니다.

2개의 EMR 노트북은 콘솔에서 EMR 스튜디오 작업 공간으로 사용할 수 있습니다. 콘솔의 워크스페이스 생성 버튼을 사용하여 새 노트북을 생성할 수 있습니다. EMR Notebooks 사용자는 Workspace에 액세스하거나 Workspace를 생성하려면 추가 IAM 역할 권한이 필요합니다. 자세한 내용은 Amazon EMR 노트북은 콘솔 및 Amazon EMR 콘솔의 Amazon EMR 스튜디오 작업 공간임을 참조하십시오.

차이점 요약

이 섹션에서는 Amazon EMR 콘솔 환경의 기능을 간략하게 설명합니다. 이러한 기능은 다음과 같은 범주로 분류됩니다.

콘솔의 클러스터 호환성

생성한 클러스터가 콘솔과 호환되지 않는 경우가 있을 수 있습니다. 다음 목록은 Amazon EMR 콘솔의 호환성 요구 사항을 설명합니다.

  • 콘솔은 Amazon EMR 릴리스 5.20.1 이상에서 생성된 클러스터를 지원합니다.

  • 콘솔에서 자동 크기 조정을 사용하는 클러스터를 복제할 수 있지만, 클러스터를 수동으로 확장하거나 관리형 조정을 사용하려는 경우에만 새 클러스터를 생성할 수 있습니다.

릴리스 5.20.1 및 이전 버전의 클러스터를 생성하고 사용하려면 AWS Command Line Interface (AWS CLI) 또는 SDK를 사용할 수 있습니다. AWS

클러스터 생성

기능 콘솔

용어: Amazon EMR 클러스터 노드 유형

프라이머리, 코어, 태스크

Amazon EMR 지원 릴리스1

Amazon EMR 릴리스 5.20.1 이상

클러스터 빠르게 시작

요약 패널 아래의 클러스터 생성 버튼을 사용하십시오. 클러스터 이름에는 <, >, $, | 또는 `(백틱) 문자를 포함할 수 없습니다.

스팟 프로비저닝 제한 시간 구성

클러스터에서 플릿마다 스팟 인스턴스를 프로비저닝할 제한 시간을 정의합니다.

서비스 역할 및 Amazon EC2 인스턴스 프로파일 역할

콘솔은 기본 역할을 생성하지 않으므로 IAM 콘솔에서 역할을 생성하거나 이미 생성된 IAM 역할을 선택해야 합니다.

클러스터 가시성

Amazon EMR 콘솔 내에서는 일부 사용자에게 클러스터를 표시할 수 없습니다. IAM 정책에 따라 클러스터 액세스가 결정됩니다.

네트워킹 - 프라이빗 서브넷 구성

각각 Amazon S3Amazon VPC 콘솔에서 각각 Amazon S3 엔드포인트와 NAT 게이트웨이를 구성해야 합니다.

EMR 파일 시스템 일관된 보기(EMRFS CV)

2020년 12월 1일에 Amazon S3의 강력한 read-after-write 일관성이 출시됨에 따라 EMR 클러스터와 함께 EMRFS CV를 사용할 필요가 없습니다.

Debugging

클러스터 세부 정보 페이지의 애플리케이션 UI 인터페이스를 사용하여 작업을 디버깅할 수 있습니다.

1 콘솔에서 Amazon EMR 5.20.1 이전 릴리스를 사용하여 클러스터를 생성하거나 편집할 수는 없지만, 5.20.1 이전 릴리스를 사용하여 생성한 기존 클러스터는 계속 작동합니다. 5.20.1 이전의 Amazon EMR 릴리스로 클러스터를 생성하고 편집하려면 API 또는 CLI를 사용하십시오. 콘솔을 사용하여 모든 클러스터를 볼 수 있지만 5.20.1 이전에 생성된 콘솔은 최신 기능과 호환되지 않을 수 있습니다.

클러스터 보기 및 검색

다음 표에는 Amazon EMR 콘솔을 사용하여 클러스터를 보고, 검색하고, 검색하는 방법이 나와 있습니다.

참고

클러스터 목록에 데이터 필터를 적용하면 전체 데이터베이스를 쿼리합니다. 그러나 검색 상자에 텍스트 문자열을 입력하면 목록이 클라이언트 측에서 로드한 결과에만 검색이 적용됩니다.

기능 콘솔

클러스터 세부 정보 보기

클러스터 ID를 선택하여 구성 옵션, 영구 애플리케이션 UI, 로그와 같은 전체 클러스터 세부 정보를 볼 수 있습니다.

클러스터 검색

단일 검색 필드를 사용하여 텍스트 검색 쿼리를 입력하고 '상태 = 모든 활성 상태'와 같은 데이터 필터를 생성 및 적용합니다.

실패한 클러스터 찾기

실패한 클러스터를 검색하려면 상태 = 오류로 종료됨 필터를 적용합니다.

클러스터 세부 정보 보기 또는 편집

기능 콘솔

조정, 프로비저닝, 크기 조정 및 종료 옵션과 함께 인스턴스 그룹 및 인스턴스 플릿의 인스턴스 보기

인스턴스 탭에서 인스턴스 옵션 및 세부 정보를 봅니다. 속성 탭에서 종료 옵션을 봅니다.

앱 UI, 로그 및 구성 보기

(Apache Spark UI, Spark 기록 서비스, Apache Tez UI, YARN 타임라인 서버)

구성 탭에서 클러스터 구성을 확인합니다. 실시간 영구 애플리케이션 UI를 시작하여 애플리케이션 탭에서 애플리케이션 로그를 확인합니다.

클러스터를 CLI로 내보내기

클러스터 세부 정보 및 목록 보기 작업 메뉴에서 '클러스터 복제 명령 보기'와 같은 사용 가능한 옵션

보안 구성 작업 시 차이점

기능 콘솔

보안 구성 복제

Trino와 Apache Ranger를 사용한 페더레이션 거버넌스

런타임 역할을 사용하여 클러스터에 작업 제출1

EMR 파일 시스템(EMRFS) 데이터에 대한 액세스 권한 부여

Amazon S3 액세스 포인트

AWS Lake Formation 액세스 제어

런타임 역할

1 단계 제출 중에 역할을 전달하려면 클러스터에서 IAM 권한 정책이 첨부된 보안 구성을 사용해야 합니다. 그러면 사용자는 승인된 역할만 전달하고 작업은 Amazon EMR 리소스에 액세스할 수 있습니다. 자세한 내용은 Amazon EMR 단계의 런타임 역할을(를) 참조하세요.