HBase이전 AMI 버전의 Amazon에 대한 애플리케이션 세부 사항 EMR

지원되는 버전 HBase

HBase버전	AMI버전	AWS CLI 구성 매개변수	HBase버전 세부 정보
0.94.18	3.1.0 이상	--ami-version 3.1 --ami-version 3.2 --ami-version 3.3 --applications Name=HBase	버그 수정 사항 및 기능 향상.
0.94.7	3.0-3.0.4	--ami-version 3.0 --applications Name=HBase
0.92	2.2 이상	--ami-version 2.2 or later --applications Name=HBase

HBase클러스터 사전 요구 사항

Amazon EMR AMI 버전 2.x 및 3.x를 사용하여 생성한 클러스터는 다음 요구 사항을 충족해야 합니다. HBase

• AWS CLI (선택 사항) —명령줄을 HBase 사용하여 상호 작용하려면 의 최신 버전을 다운로드하여 설치하십시오. AWS CLI자세한 내용을 알아보려면 AWS Command Line Interface 사용자 가이드에서 AWS Command Line Interface설치를 참조하세요.

• 최소 두 개의 인스턴스 (선택 사항) - 클러스터의 마스터 노드는 HBase 마스터 서버와 Zookeeper를 실행하고, 태스크 노드는 지역 서버를 실행합니다. HBase 최상의 성능을 위해 HBase 클러스터는 최소 두 개의 EC2 인스턴스에서 실행되어야 하지만 평가 목적으로는 단일 HBase 노드에서 실행할 수 있습니다.

• 장기 실행 클러스터 - 장기 실행 HBase 클러스터에서만 실행됩니다. 기본적으로 CLI 및 Amazon EMR 콘솔은 장기 실행 클러스터를 생성합니다.

• Amazon EC2 키 페어 세트 (권장) - Secure Shell (SSH) 네트워크 프로토콜을 사용하여 마스터 노드에 연결하고 HBase 셸 명령을 실행하려면 클러스터를 생성할 때 Amazon EC2 키 페어를 사용해야 합니다.

• 올바른 AMI 하둡 버전 - HBase 클러스터는 현재 하둡 20.205 이상에서만 지원됩니다.

• Ganglia (선택 사항) - HBase 성능 메트릭을 모니터링하려면 클러스터를 생성할 때 Ganglia를 설치하십시오.

• 로그용 Amazon S3 버킷 (선택 사항) - 로그는 마스터 노드에서 사용할 수 있습니다. HBase 이 로그를 Amazon S3에 복사하려면 클러스터를 생성할 때 로그 파일을 수신하는 S3 버킷을 지정합니다.

HBase로 클러스터 생성

다음 표에는 Amazon EMR AMI 릴리스 버전을 사용하여 콘솔을 사용하여 클러스터를 생성할 때 사용할 수 있는 HBase 옵션이 나와 있습니다.

필드	작업
백업에서 복원	Amazon S3에 저장된 데이터로 HBase 클러스터를 미리 로드할지 여부를 지정합니다.
백업 위치	Amazon S3에서 복원할 백업이 있는 URI 위치를 지정합니다.
Backup version(백업 버전)	선택적으로 백업 위치에서 사용할 백업의 버전 이름을 지정합니다. 이 필드를 비워 두면 EMR Amazon은 Backup Location의 최신 백업을 사용하여 새 HBase 클러스터를 채웁니다.
Schedule Regular Backups(정기 백업 예약)	자동 증분 백업을 예약할지 여부를 지정합니다. 첫 번째 백업은 이후의 증분 백업에 대한 기준을 생성하기 위한 전체 백업입니다.
Consistent backup(일관적 백업)	백업의 일관성 여부를 지정합니다. 일관된 백업은 초기 백업 단계, 즉 노드 간 동기화 중에 쓰기 작업을 일시 중지하는 백업입니다. 이렇게 일시 중지된 쓰기 작업은 대기열에 배치되고 동기화가 완료되면 다시 시작됩니다.
Backup frequency(백업 빈도)	예약된 백업 간의 일/시간/분입니다.
백업 위치	백업이 URI 저장되는 Amazon S3입니다. 차등 백업이 올바르게 유지되도록 하려면 각 HBase 클러스터의 백업 위치가 달라야 합니다.
Backup start time(백업 시작 시간)	첫 번째 백업의 발생 시점을 지정합니다. 이 값을 로 now 설정하여 클러스터가 실행되는 즉시 첫 번째 백업이 시작되도록 하거나 날짜 및 시간을 ISO형식으로 입력할 수 있습니다. 예를 들어, 2012-06-15T20:00Z는 시작 시간을 2012년 6월 15일 오후 8시로 설정합니다. UTC

다음 예제 명령은 기타 애플리케이션이 포함된 클러스터를 시작합니다. AWS CLI HBase

참고

가독성을 위해 Linux 줄 연속 문자(\)가 포함됩니다. Linux 명령에 사용하거나 제외할 수 있습니다. Windows에서는 제외시키거나 캐럿(^)으로 바꿉니다.

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
               --applications Name=Hue Name=Hive Name=Pig Name=HBase \
               --use-default-roles --ec2-attributes KeyName=myKey \
               --instance-type c1.xlarge --instance-count 3 --termination-protected

Hive와 HBase 클러스터를 연결한 후 (이전 절차에서 볼 수 있음) Hive에서 외부 테이블을 생성하여 HBase 클러스터에 저장된 데이터에 액세스할 수 있습니다.

다음 예제를 Hive 프롬프트에서 실행하면 라는 테이블에 저장된 데이터를 참조하는 외부 테이블이 만들어집니다. HBase inputTable 그런 다음 Hive 문을 inputTable 참조하여 클러스터에 저장된 데이터를 쿼리하고 수정할 수 있습니다. HBase

참고

다음 예제에서는 AMI 2.3.3의 protobuf-java-2.4.0a.jar를 사용하지만 사용 중인 버전에 맞게 예제를 수정해야 합니다. 사용 중인 프로토콜 버퍼 JAR 버전을 확인하려면 Hive 명령 프롬프트에서 명령을 실행합니다. ! ls /home/hadoop/lib;

add jar lib/emr-metrics-1.0.jar ;
               add jar lib/protobuf-java-2.4.0a.jar ;
               
               set hbase.zookeeper.quorum=ec2-107-21-163-157.compute-1.amazonaws.com ;
               
               create external table inputTable (key string, value string)
                    stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
                     with serdeproperties ("hbase.columns.mapping" = ":key,f1:col1")
                     tblproperties ("hbase.table.name" = "t1");
               
               select count(*) from inputTable ;		

구성 사용자 지정 HBase

기본 설정은 대부분의 애플리케이션에서 작동하지만 HBase 구성 설정을 유연하게 수정할 수 있습니다. 이렇게 하려면 다음 두 개의 부트스트랩 작업 스크립트 중 하나를 실행합니다.

• configure-hbase-daemons—마스터, 지역 서버 및 사육사 데몬의 속성을 구성합니다. 이러한 속성에는 힙 크기 및 데몬이 시작될 때 Java Virtual Machine () 에 전달하는 옵션이 포함됩니다. JVM HBase 부트스트랩 작업에서 이러한 속성을 인수로 설정합니다. 이 부트스트랩 작업은 클러스터의 hbase-user-env /home/hadoop/conf/ .sh 구성 파일을 수정합니다. HBase

• configure-hbase - 마스터가 바인딩해야 하는 포트, 클라이언트 클라이언트가 작업을 재시도해야 하는 최대 횟수 등 HBase 사이트별 설정을 구성합니다. HBase CLI 이를 부트스트랩 작업의 인수로 설정하거나 Amazon S3에서 XML 구성 파일의 위치를 지정할 수 있습니다. one-by-one 이 부트스트랩 작업은 클러스터의 /home/hadoop/conf/hbase-site.xml 구성 파일을 수정합니다. HBase

참고

다른 부트스트랩 작업과 마찬가지로 이러한 스크립트는 클러스터를 생성할 때만 실행할 수 있으며, 현재 실행 중인 HBase 클러스터의 구성을 변경하는 데는 사용할 수 없습니다.

configure-hbase 또는 configure-hbase-daemons부트스트랩 작업을 실행하면 지정한 값이 기본값보다 우선 적용됩니다. 명시적으로 설정하지 않은 값은 기본값을 받습니다.

이러한 부트스트랩 작업을 HBase 사용하여 구성하는 것은 Amazon에서 부트스트랩 작업을 사용하여 하둡 설정 및 하둡 EMR 데몬 속성을 구성하는 것과 유사합니다. 차이점은 프로세스별 메모리 옵션이 없다는 것입니다. HBase 대신 --daemon-opts 인수를 사용하여 메모리 옵션을 설정합니다. 여기서 daemon 구성할 데몬의 이름으로 대체됩니다.

데몬을 구성합니다. HBase

EMRAmazon은 HBase 데몬 구성을 변경하는 데 사용할 수 있는 부트스트랩 작업을 제공합니다. s3://region.elasticmapreduce/bootstrap-actions/configure-hbase-daemons region 클러스터를 HBase 시작하는 지역입니다.

를 사용하여 HBase 데몬을 구성하려면 클러스터를 시작할 때 configure-hbase-daemons 부트스트랩 작업을 추가하여 하나 이상의 HBase 데몬을 구성하십시오. AWS CLI다음 속성을 설정할 수 있습니다.

속성	설명
hbase-master-opts	마스터 데몬의 JVM 실행 방식을 제어하는 옵션입니다. 설정된 경우 이 변수는 기본 HBASE _ _ MASTER 변수를 재정의합니다. OPTS
regionserver-opts	지역 서버 데몬을 JVM 실행하는 방법을 제어하는 옵션입니다. 설정된 경우 기본 HBASE _ _ REGIONSERVER 변수를 재정의합니다. OPTS
zookeeper-opts	사육사 데몬의 JVM 실행 방식을 제어하는 옵션입니다. 설정된 경우 기본 HBASE _ _ 변수를 재정의합니다. ZOOKEEPER OPTS

이러한 옵션에 대한 자세한 내용은 HBase 설명서의 hbase-env.sh 를 참조하십시오.

zookeeper-opts 및 hbase-master-opts에 대한 값을 구성하기 위한 부트스트랩 작업은 다음 예에 표시되어 있습니다.

참고

가독성을 위해 Linux 줄 연속 문자(\)가 포함됩니다. Linux 명령에 사용하거나 제외할 수 있습니다. Windows에서는 제외시키거나 캐럿(^)으로 바꿉니다.

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase-daemons,\
Args=["--hbase-zookeeper-opts=-Xmx1024m -XX:GCTimeRatio=19","--hbase-master-opts=-Xmx2048m","--hbase-regionserver-opts=-Xmx4096m"]

HBase사이트 설정 구성

EMRAmazon은 구성을 변경하는 데 사용할 수 있는 부트스트랩 작업을 제공합니다. s3://elasticmapreduce/bootstrap-actions/configure-hbase HBase 구성 값을 one-by-one 부트스트랩 작업의 인수로 설정하거나 Amazon S3에서 XML 구성 파일의 위치를 지정할 수 있습니다. 몇 가지 구성 설정만 지정해야 하는 경우 구성 값을 설정하는 one-by-one 것이 유용합니다. 변경해야 할 사항이 많거나 구성 설정을 저장하여 재사용하려는 경우 XML 파일을 사용하여 설정하는 것이 유용합니다.

참고

Amazon S3 버킷 이름 앞에 지역 접두사를 붙일 수 있습니다 (예s3://region.elasticmapreduce/bootstrap-actions/configure-hbase: where).region 클러스터를 HBase 시작하는 지역입니다.

이 부트스트랩 작업은 클러스터의 /home/hadoop/conf/hbase-site.xml 구성 파일을 수정합니다. HBase 부트스트랩 작업은 HBase 클러스터가 실행될 때만 실행할 수 있습니다.

구성할 수 있는 HBase 사이트 설정에 대한 자세한 내용은 HBase 설명서의 기본 구성을 참조하십시오.

HBase클러스터를 시작할 때 configure-hbase 부트스트랩 동작을 설정하고 변경할 값을 지정합니다. hbase-site.xml

를 사용하여 개별 HBase 사이트 설정을 지정하려면 AWS CLI

• hbase.hregion.max.filesize설정을 변경하려면 다음 명령을 입력하고 바꾸십시오.myKey Amazon EC2 키 페어의 이름을 사용하십시오.

  참고

  가독성을 위해 Linux 줄 연속 문자(\)가 포함됩니다. Linux 명령에 사용하거나 제외할 수 있습니다. Windows에서는 제외시키거나 캐럿(^)으로 바꿉니다.

  aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
  --applications Name=Hue Name=Hive Name=Pig Name=HBase \
  --use-default-roles --ec2-attributes KeyName=myKey \
  --instance-type c1.xlarge --instance-count 3 --termination-protected \
  --bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase,Args=["-s","hbase.hregion.max.filesize=52428800"]

를 사용하여 XML 파일로 HBase 사이트 설정을 지정하려면 AWS CLI

1. 사용자 지정 hbase-site.xml 버전을 생성합니다. 사용자 지정 파일이 유효해야 합니다XML. 오류가 발생할 가능성을 줄이려면 Amazon EMR HBase 마스터 노드에 있는 의 hbase-site.xml 기본 사본으로 시작하여 파일을 처음부터 생성하는 대신 해당 파일의 사본을 편집하십시오. /home/hadoop/conf/hbase-site.xml 새 파일에 새 이름을 지정하거나 hbase-site.xml를 그대로 사용할 수 있습니다.

2. 사용자 지정 hbase-site.xml 파일을 Amazon S3 버킷에 업로드합니다. 클러스터를 시작하는 AWS 계정이 파일에 액세스할 수 있도록 권한이 설정되어 있어야 합니다. 클러스터를 시작하는 AWS 계정이 Amazon S3 버킷도 소유하는 경우 해당 계정이 액세스 권한을 가집니다.

3. HBase클러스터를 시작할 때 configure-hbase 부트스트랩 작업을 설정하고 사용자 지정 파일의 위치를 포함하십시오. hbase-site.xml 다음 예제에서는 HBase 사이트 구성 값을 파일에 지정된 값으로 설정합니다. s3://mybucket/my-hbase-site.xml 다음 명령을 입력하고 교체하십시오.myKey EC2키 페어의 이름으로 바꾸고 mybucket Amazon S3 버킷의 이름을 사용합니다.

   참고

   가독성을 위해 Linux 줄 연속 문자(\)가 포함됩니다. Linux 명령에 사용하거나 제외할 수 있습니다. Windows에서는 제외시키거나 캐럿(^)으로 바꿉니다.

   aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
           --applications Name=Hue Name=Hive Name=Pig Name=HBase \
           --use-default-roles --ec2-attributes KeyName=myKey \
           --instance-type c1.xlarge --instance-count 3 --termination-protected \
           --bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase,Args=["--site-config-file","s3://mybucket/config.xml"]

   HBase작업을 사용자 지정하는 옵션을 두 개 이상 지정하는 경우 다음 예와 같이 각 키-값 쌍 앞에 -s 옵션 스위치를 추가해야 합니다.

   
          --bootstrap-actions s3://elasticmapreduce/bootstrap-actions/configure-hbase,Args=["-s","zookeeper.session.timeout=60000"]
          				

프록시 세트와 SSH 연결이 열린 상태에서 http://를 사용하여 브라우저 창을 열어 HBase UI를 볼 수 있습니다.master-public-dns-name:60010/마스터-상태, 여기서 master-public-dns-name 클러스터에 있는 마스터 노드의 공개 DNS 주소입니다. HBase

를 사용하여 SSH 마스터 노드에 연결하고 mnt/var/log/hbase 디렉토리로 이동하여 현재 HBase 로그를 볼 수 있습니다. 클러스터가 시작될 때 Amazon S3에 대한 로깅이 활성화되지 않은 경우 이 로그는 클러스터가 종료된 후 사용할 수 없습니다.

백업 및 복원 HBase

Amazon은 수동으로 또는 자동화된 일정에 따라 Amazon S3에 HBase 데이터를 백업할 수 있는 기능을 EMR 제공합니다. 전체 및 증분 백업을 모두 수행할 수 있습니다. 백업 버전의 HBase 데이터를 확보한 후 해당 버전을 클러스터에 복원할 수 있습니다. HBase 현재 실행 중인 HBase 클러스터로 복원하거나 백업 데이터로 미리 채워진 새 클러스터를 시작할 수 있습니다.

백업 프로세스 중에 쓰기 명령을 HBase 계속 실행합니다. 이렇게 하면 백업 중에 클러스터를 계속 사용할 수 있지만 백업 중인 데이터와 모든 쓰기 작업을 동시에 실행하는 데 불일치가 발생할 수 있습니다. 발생할 수 있는 불일치를 이해하려면 클러스터의 노드 전체에 쓰기 작업을 HBase 분산시키는 방법을 고려해야 합니다. 특정 노드가 폴링된 후 쓰기 작업이 발생하면 해당 데이터는 백업 아카이브에 포함되지 않습니다. 이전에 HBase 클러스터에 대한 쓰기 (이미 폴링된 노드로 전송) 는 백업 아카이브에 없는 반면, 이후의 쓰기 (폴링되기 전에 노드로 전송) 는 포함될 수도 있습니다.

일관된 백업이 필요한 경우 백업 프로세스의 초기 부분인 노드 간 동기화 HBase 중에 쓰기를 일시 중지해야 합니다. 백업을 요청할 때 --consistent 파라미터를 지정하여 이 작업을 수행할 수 있습니다. 이 파라미터를 사용하면 이 기간 동안의 쓰기가 대기 상태가 되고 동기화가 완료되는 즉시 실행됩니다. 하나의 백업 단계에서 누락된 데이터가 다음 단계에서 백업되므로 시간 경과에 따른 불일치를 해결하는 반복 백업을 예약할 수도 있습니다.

HBase데이터를 백업할 때는 클러스터마다 다른 백업 디렉터리를 지정해야 합니다. 이를 수행하는 쉬운 방법은 클러스터 식별자를 백업 디렉터리에 지정된 경로의 일부로 사용하는 것입니다. 예: s3://mybucket/backups/j-3AEXXXXXX16F2. 이렇게 하면 향후 모든 증분 백업에서 올바른 HBase 클러스터를 참조할 수 있습니다.

더 이상 필요하지 않은 오래된 백업 파일을 삭제할 준비가 되면 먼저 HBase 데이터의 전체 백업을 수행하는 것이 좋습니다. 이렇게 하면 모든 데이터가 보존되고 향후 증분 백업에 대한 기준이 제공됩니다. 전체 백업이 완료되면 백업 위치로 이동하여 수동으로 이전 백업 파일을 삭제할 수 있습니다.

HBase백업 프로세스에서는 복사 DistCp 작업에 S3를 사용하는데, 이 경우 임시 파일 저장 공간과 관련하여 몇 가지 제한이 있습니다.

콘솔을 HBase 사용한 백업 및 복원

콘솔은 새 클러스터를 시작하고 이전 HBase 백업의 데이터로 클러스터를 채울 수 있는 기능을 제공합니다. 또한 데이터의 주기적인 증분 백업을 예약할 수 있습니다. HBase 이미 실행 중인 클러스터로 데이터를 복원하고, 수동 백업을 수행하고, 자동 전체 백업을 예약하는 기능과 같은 추가 백업 및 복원 기능은 를 사용하여 사용할 수 있습니다. CLI

콘솔을 사용하여 새 클러스터를 보관된 HBase 데이터로 채우려면

1. 새 Amazon EMR 콘솔로 이동한 다음 측면 탐색에서 이전 콘솔로 전환을 선택합니다. 이전 콘솔로 전환할 때 예상되는 사항에 대한 자세한 내용은 이전 콘솔 사용을 참조하세요.

2. 클러스터 생성을 선택합니다.

3. 소프트웨어 구성 섹션에서 추가 애플리케이션을 HBase선택하고 구성하고 추가합니다.

4. 애플리케이션 추가 대화 상자에서 Restore From Backup(백업에서 복원)을 선택합니다.

5. 백업 위치의 경우 새 HBase 클러스터에 로드할 백업 위치를 지정합니다. 이 형식은 Amazon URL S3여야 s3://myawsbucket/backups/ 합니다.

6. Backup version(백업 버전)에 대해 값을 설정하여 로드할 백업 버전의 이름을 지정할 수 있습니다. Backup Version의 값을 설정하지 않으면 Amazon은 지정된 위치에 최신 백업을 EMR 로드합니다.

7. 추가를 선택하고 필요에 따라 다른 옵션으로 클러스터를 생성합니다.

콘솔을 사용하여 자동 HBase 데이터 백업을 예약하려면

1. 소프트웨어 구성 섹션에서 추가 응용 프로그램을 HBase선택하고 구성하고 추가합니다.

2. Schedule Regular Backups(정기 백업 예약)를 선택합니다.

3. 백업의 일관성 여부를 지정합니다. 일관된 백업은 초기 백업 단계, 즉 노드 간 동기화 중에 쓰기 작업을 일시 중지하는 백업입니다. 이렇게 일시 중지된 쓰기 작업은 대기열에 배치되고 동기화가 완료되면 다시 시작됩니다.

4. Backup frequency(백업 빈도)에 숫자를 입력하고 일, 시간 또는 분을 선택하여 백업이 수행되는 빈도를 설정합니다. 가장 먼저 실행되는 자동 백업은 전체 백업입니다. 이후 Amazon은 지정한 일정에 따라 증분 백업을 EMR 저장합니다.

5. 백업이 저장되는 Amazon S3의 위치를 지정합니다. 증분 백업이 올바르게 계산되도록 하려면 Amazon S3의 별도 위치에 각 HBase 클러스터를 백업해야 합니다.

6. Backup Start Time(백업 시작 시간)에 대한 값을 설정하여 첫 번째 백업이 발생해야 할 시점을 지정합니다. 이를 로 설정하여 now 클러스터가 실행되는 즉시 첫 번째 백업이 시작되도록 하거나 날짜 및 시간을 ISO형식으로 입력할 수 있습니다. 예를 들어, 2013-09-26T20:00Z는 시작 시간을 2013년 9월 26일 오후 8시로 설정합니다. UTC

7. 추가를 선택합니다.

8. 계속해서 필요에 따라 다른 옵션으로 클러스터를 생성합니다.

HBase모니터는 다음과 같습니다. CloudWatch

Amazon은 HBase 백업을 모니터링하는 데 사용할 수 CloudWatch 있는 세 가지 지표를 EMR 보고합니다. 이러한 지표는 5분 CloudWatch 간격으로 푸시되며 무료로 제공됩니다.

지표	설명
HBaseBackupFailed	마지막 백업 실패 여부입니다. 이 값은 기본적으로 0으로 설정되고 이전 백업 시도가 실패하면 1로 업데이트됩니다. 이 지표는 HBase 클러스터에 대해서만 보고됩니다. 사용 사례: HBase 백업 모니터링 Units: Count
HBaseMostRecentBackupDuration	이전 백업이 완료되는 데 걸린 시간입니다. 이 지표는 마지막으로 완료된 백업의 성공 여부에 관계없이 설정됩니다. 백업이 진행되는 동안 이 지표는 백업이 시작된 후의 시간(분)을 반환합니다. 이 지표는 HBase 클러스터에 대해서만 보고됩니다. 사용 사례: HBase 백업 모니터링 단위: 분
HBaseTimeSinceLastSuccessfulBackup	클러스터에서 마지막으로 성공한 HBase 백업이 시작된 후 경과된 시간 (분) 이 지표는 클러스터에 대해서만 HBase 보고됩니다. 사용 사례: HBase 백업 모니터링 단위: 분

Ganglia 구성 대상 HBase

configure-hbase-for-ganglia부트스트랩 작업을 사용하도록 HBase Ganglia를 구성합니다. 이 부트스트랩 작업은 Ganglia에 지표를 HBase 게시하도록 구성합니다.

클러스터를 시작할 때 Ganglia를 HBase 구성해야 합니다. Ganglia 보고는 실행 중인 클러스터에 추가할 수 없습니다.

또한 Ganglia는 /mnt/var/log/ganglia/rrds에서 서버에 로그 파일을 저장합니다. 로그 파일을 Amazon S3 버킷에 보관하도록 클러스터를 구성한 경우, Ganglia 로그 파일도 여기에 보관됩니다.

Ganglia를 사용하여 클러스터를 시작하려면 다음 예와 같이 configure-hbase-for-ganglia부트스트랩 작업을 사용하십시오. HBase

참고

가독성을 위해 Linux 줄 연속 문자(\)가 포함됩니다. Linux 명령에 사용하거나 제외할 수 있습니다. Windows에서는 제외시키거나 캐럿(^)으로 바꿉니다.

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase Name=Ganglia \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase-for-ganglia

Ganglia가 구성된 클러스터가 시작되면 마스터 노드에서 실행중인 그래픽 인터페이스를 사용하여 Ganglia 그래프와 보고서에 액세스할 수 있습니다.