Amazon EMR 관리 콘솔을 사용하여 클러스터에 단계 추가

다음 절차를 사용하여 AWS Management Console에서 클러스터에 단계를 추가합니다. 특정 빅 데이터 애플리케이션의 단계를 제출하는 방법에 대한 자세한 내용은 Amazon EMR 릴리스 가이드의 다음 섹션을 참조하십시오.

• 사용자 지정 JAR 단계 제출

• Hadoop 스트리밍 단계 제출

• Spark 단계 제출

• Pig 단계 제출

• 명령 또는 스크립트를 단계로 실행

• 값을 단계에 전달하여 Hive 스크립트 실행

클러스터 생성 중 단계 추가

에서 AWS Management Console클러스터를 생성할 때 단계를 추가할 수 있습니다.

Console

콘솔로 클러스터를 생성할 때 단계를 추가하려면

1. 에 AWS Management Console로그인하고 https://console.aws.amazon.com/emr 에서 아마존 EMR 콘솔을 엽니다.

2. 왼쪽 탐색 창의 EMREC2켜짐에서 클러스터를 선택한 다음 클러스터 생성을 선택합니다.

3. 단계에서 단계 추가를 선택합니다. 단계 추가 대화 상자의 필드에 적절한 값을 입력합니다. 단계 인수 서식 지정에 대한 자세한 내용은 단계 인수 추가 섹션을 참조하세요. 옵션은 단계 유형에 따라 다릅니다. 단계를 추가하고 대화 상자를 종료하려면 단계 추가를 선택합니다.

4. 클러스터에 적용할 다른 옵션을 선택합니다.

5. 클러스터를 시작하려면 클러스터 생성을 선택합니다.

실행 중인 클러스터에 단계 추가

를 AWS Management Console사용하면 자동 종료 옵션이 비활성화된 상태로 클러스터에 단계를 추가할 수 있습니다.

Console

콘솔을 사용하여 실행 중인 클러스터에 단계를 추가하려면

1. 에 AWS Management Console로그인하고 https://console.aws.amazon.com/emr 에서 아마존 EMR 콘솔을 엽니다.

2. 왼쪽 탐색 창의 EMREC2on에서 [Clusters] 를 선택하고 업데이트하려는 클러스터를 선택합니다.

3. 클러스터 세부 정보 페이지에서 단계 탭을 열고 단계 추가를 선택합니다. 기존 단계를 복제하려면 작업 드롭다운 메뉴를 선택하고 단계 복제를 선택합니다.

4. 단계 추가 대화 상자의 필드에 적절한 값을 입력합니다. 옵션은 단계 유형에 따라 다릅니다. 단계를 추가하고 대화 상자를 종료하려면 단계 추가를 선택합니다.

실행 중인 클러스터에서 단계 동시성 레벨 수정

를 AWS Management Console사용하여 실행 중인 클러스터의 단계 동시성 수준을 수정할 수 있습니다.

참고

Amazon EMR 버전 5.28.0 이상에서는 여러 단계를 병렬로만 실행할 수 있습니다.

Console

콘솔을 사용하여 실행 중인 클러스터의 단계 동시성을 수정하려면

1. 에 AWS Management Console로그인하고 https://console.aws.amazon.com/emr 에서 아마존 EMR 콘솔을 엽니다.

2. 왼쪽 탐색 창의 EMREC2on에서 [Clusters] 를 선택하고 업데이트하려는 클러스터를 선택합니다. 동시성 속성을 변경하려면 클러스터가 실행 중이어야 합니다.

3. 클러스터 세부 정보 페이지의 단계 탭에서 속성 섹션을 찾습니다. 편집을 선택하여 동시성을 변경합니다. 1에서 256 사이의 값을 입력합니다.

단계 인수 추가

를 사용하여 클러스터에 단계를 AWS Management Console 추가하는 경우 인수 필드에 해당 단계의 인수를 지정할 수 있습니다. 인수는 공백으로 구분하고 문자 및 공백으로 구성된 문자열 인수는 따옴표로 묶어야 합니다.

예 : 올바른 인수

다음 예제 인수는 에 대해 올바른 형식으로 지정되어 있으며 마지막 문자열 인수 앞에는 따옴표가 붙어 있습니다. AWS Management Console

bash -c "aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh ."

다음 예제와 같이 읽기 쉽도록 각 인수를 별도의 줄에 배치할 수도 있습니다.

bash 
-c 
"aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh ."

예 : 잘못된 인수

다음 예제 인수는 AWS Management Console에 대해 올바른 형식이 아닙니다. 마지막 문자열 인수(aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh .)에는 공백이 포함되어 있으며 따옴표로 묶지 않았습니다.

bash -c aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh .