Amazon EMR의 이전 AMI 버전에 고유한 HBase 애플리케이션 - Amazon EMR
지원되는 HBase 버전HBase 클러스터 필수 조건HBase를 포함하는 클러스터 생성HBase 구성 사용자 지정HBase 백업 및 복원CloudWatch를 이용한 HBase 모니터링HBase용 Ganglia 구성

Amazon EMR의 이전 AMI 버전에 고유한 HBase 애플리케이션

지원되는 HBase 버전

HBase 버전 AMI 버전 AWS CLI 구성 파라미터 HBase 버전 세부 정보
0.94.18 3.1.0 이상

--ami-version 3.1

--ami-version 3.2

--ami-version 3.3

--applications Name=HBase

  • 버그 수정 사항 및 기능 향상.
0.94.7 3.0-3.0.4

--ami-version 3.0

--applications Name=HBase
0.92 2.2 이상

--ami-version 2.2 or later

--applications Name=HBase

HBase 클러스터 필수 조건

Amazon EMR AMI 버전 2.x 및 3.x를 사용하여 생성된 클러스터는 HBase에 대한 다음 요구 사항을 충족해야 합니다.

  • AWS CLI(선택 사항) - 명령줄을 사용하여 HBase와 상호 작용하려면 AWS CLI의 최신 버전을 다운로드하여 설치합니다. 자세한 내용은 AWS Command Line Interface 사용 설명서에서 AWS Command Line Interface 설치를 참조하세요.

  • 최소 두 개의 인스턴스(선택 사항) - 클러스터의 프라이머리 노드는 HBase 마스터 서버와 Zookeeper를 실행하고, 태스크 노드는 HBase 리전 서버를 실행합니다. 최상의 성능을 위해 HBase 클러스터는 최소 두 개의 EC2 인스턴스에서 실행해야 하지만 평가를 위해 단일 노드에서 HBase를 실행할 수 있습니다.

  • 장기 실행 클러스터 - HBase는 장기 실행 클러스터에서만 실행됩니다. 기본적으로 CLI 및 Amazon EMR 콘솔은 장기 실행 클러스터를 생성합니다.

  • Amazon EC2 키 페어 세트(권장) - Secure Shell(SSH) 네트워크 프로토콜을 사용하여 프라이머리 노드에 연결하고 HBase 쉘 명령을 실행하려면 클러스터를 생성할 때 Amazon EC2 키 페어를 사용해야 합니다.

  • 올바른 AMI 및 Hadoop 버전 - HBase 클러스터는 현재 Hadoop 20.205 이상에서만 지원됩니다.

  • Ganglia(선택 사항) - HBase 성능 지표를 모니터링하려면 클러스터를 생성할 때 Ganglia를 설치합니다.

  • 로그용 Amazon S3 버킷(선택 사항) - HBase의 로그는 프라이머리 노드에서 사용할 수 있습니다. 이 로그를 Amazon S3에 복사하려면 클러스터를 생성할 때 로그 파일을 수신하는 S3 버킷을 지정합니다.

HBase를 포함하는 클러스터 생성

다음 테이블에는 콘솔에서 Amazon EMR AMI 릴리스 버전을 사용하여 HBase가 설치된 클러스터를 생성할 때 사용할 수 있는 옵션이 나열되어 있습니다.

필드 작업
백업에서 복원 Amazon S3에 저장된 데이터를 포함하는 HBase 클러스터를 미리 로드할지 여부를 지정합니다.
백업 위치 복원할 백업이 있는 Amazon S3의 URI를 지정합니다.
Backup version(백업 버전) 선택적으로 백업 위치에서 사용할 백업의 버전 이름을 지정합니다. 이 필드를 비워두면 Amazon EMR에서 백업 위치의 최신 백업을 사용하여 새 HBase 클러스터를 채웁니다.
Schedule Regular Backups(정기 백업 예약) 자동 증분 백업을 예약할지 여부를 지정합니다. 첫 번째 백업은 이후의 증분 백업에 대한 기준을 생성하기 위한 전체 백업입니다.
Consistent backup(일관적 백업) 백업의 일관성 여부를 지정합니다. 일관된 백업은 초기 백업 단계, 즉 노드 간 동기화 중에 쓰기 작업을 일시 중지하는 백업입니다. 이렇게 일시 중지된 쓰기 작업은 대기열에 배치되고 동기화가 완료되면 다시 시작됩니다.
Backup frequency(백업 빈도) 예약된 백업 간의 일/시간/분입니다.
백업 위치 백업이 저장되는 Amazon S3 URI입니다. 올바른 차등 백업을 유지하려면 각 HBase 클러스터의 백업 위치가 달라야 합니다.
Backup start time(백업 시작 시간) 첫 번째 백업의 발생 시점을 지정합니다. 클러스터가 실행되는 즉시 첫 번째 백업이 시작되도록 now로 설정하거나, ISO 형식으로 날짜와 시간을 입력할 수 있습니다. 예를 들어, 2012-06-15T20:00Z는 시작 시간을 2012년 6월 15일 오후 8시(UTC)로 설정합니다.

다음은 HBase 및 기타 애플리케이션이 설치된 클러스터를 시작하는 예제 AWS CLI 명령입니다.

참고

2.x 및 3.x AMI 버전 Linux 명령에 사용하거나 제외할 수 있습니다. Windows에서는 제외시키거나 캐럿(^)으로 바꿉니다.

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
               --applications Name=Hue Name=Hive Name=Pig Name=HBase \
               --use-default-roles --ec2-attributes KeyName=myKey \
               --instance-type c1.xlarge --instance-count 3 --termination-protected

이전 절차에서처럼 Hive 및 HBase 클러스터 간의 연결이 설정된 후 Hive에 외부 테이블을 만들어서 HBase 클러스터에 저장된 데이터에 액세스할 수 있습니다.

Hive 프롬프트에서 실행할 때 다음 예제는 inputTable이라는 HBase 테이블에 저장된 데이터를 참조하는 외부 테이블을 생성합니다. 그러면 Hive 명령문의 inputTable을 참조하여 HBase 클러스터에 저장된 데이터를 쿼리 및 수정할 수 있습니다.

참고

다음 예제에서는 AMI 2.3.3의 protobuf-java-2.4.0a.jar을 사용하지만, 버전에 일치하도록 예제를 수정해야 합니다. 보유하고 있는 프로토콜 버퍼 JAR의 버전을 확인하려면 Hive 명령 프롬프트에서 ! ls /home/hadoop/lib; 명령을 실행합니다.

add jar lib/emr-metrics-1.0.jar ;
               add jar lib/protobuf-java-2.4.0a.jar ;
               
               set hbase.zookeeper.quorum=ec2-107-21-163-157.compute-1.amazonaws.com ;
               
               create external table inputTable (key string, value string)
                    stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
                     with serdeproperties ("hbase.columns.mapping" = ":key,f1:col1")
                     tblproperties ("hbase.table.name" = "t1");
               
               select count(*) from inputTable ;

HBase 구성 사용자 지정

대부분의 애플리케이션에서는 기본 설정이 작동해야 하지만 HBase 구성 설정을 유연하게 수정할 수 있습니다. 이렇게 하려면 다음 두 개의 부트스트랩 작업 스크립트 중 하나를 실행합니다.

  • configure-hbase-daemons - master, regionserver, zookeeper daemons의 속성을 구성합니다. 이러한 속성에는 HBase 데몬이 시작될 때 JVM(Java Virtual Machine)에 전달할 힙 크기와 옵션이 포함됩니다. 부트스트랩 작업에서 이러한 속성을 인수로 설정합니다. 이 부트스트랩 작업은 HBase 클러스터의 /home/hadoop/conf/hbase-user-env.sh 구성 파일을 수정합니다.

  • configure-hbase - HBase 마스터가 바인딩해야 하는 포트, 클라이언트 CLI가 작업을 재시도해야 하는 최대 횟수 등 HBase 사이트별 설정을 구성합니다. 이를 부트스트랩 작업의 인수로 하나씩 설정하거나 Amazon S3에서 XML 구성 파일의 위치를 지정할 수 있습니다. 이 부트스트랩 작업은 HBase 클러스터의 /home/hadoop/conf/hbase-site.xml 구성 파일을 수정합니다.

참고

이러한 스크립트는 다른 부트스트랩 작업과 마찬가지로 클러스터를 만들 때만 실행할 수 있습니다. 현재 실행중인 HBase 클러스터의 구성을 변경하는 데 사용할 수 없습니다.

configure-hbase 또는 configure-hbase-daemons 부트스트랩 작업을 실행할 경우 지정한 값이 기본값을 재정의합니다. 명시적으로 설정하지 않은 값은 기본값을 받습니다.

이러한 부트스트랩 작업으로 HBase를 구성하는 것은 Amazon EMR에서 부트스트랩 작업을 사용하여 Hadoop 설정 및 Hadoop 대몬(daemon) 속성을 구성하는 것과 유사합니다. 차이점은 HBase에는 프로세스별 메모리 옵션이 없다는 것입니다. 대신 --daemon-opts 인수를 사용하여 메모리 옵션을 설정합니다. 여기서 daemon은 구성할 데몬의 이름으로 바뀝니다.

HBase 대몬(daemon) 구성

Amazon EMR은 HBase 대몬(daemon)의 구성을 변경하는 데 사용할 수 있는 부트스트랩 작업 s3://region.elasticmapreduce/bootstrap-actions/configure-hbase-daemons를 제공합니다. 여기서 region은 HBase 클러스터가 시작되는 리전입니다.

AWS CLI를 사용하여 HBase 데몬을 구성하려면 클러스터를 시작하여 하나 이상의 HBase 데몬을 구성할 때 configure-hbase-daemons 부트스트랩 작업을 추가합니다. 다음 속성을 설정할 수 있습니다.

속성 설명
hbase-master-opts JVM이 마스터 데몬을 실행하는 방식을 제어하는 옵션입니다. 설정된 경우 기본 HBASE_MASTER_OPTS 변수를 재정의합니다.
regionserver-opts JVM이 리전 서버 데몬을 실행하는 방식을 제어하는 옵션입니다. 설정된 경우 기본 HBASE_REGIONSERVER_OPTS 변수를 재정의합니다.
zookeeper-opts JVM이 zookeeper 데몬을 실행하는 방식을 제어하는 옵션입니다. 설정된 경우 기본 HBASE_ZOOKEEPER_OPTS 변수를 재정의합니다.

이 옵션에 대한 자세한 내용은 HBase 설명서의 hbase-env.sh를 참조하십시오.

zookeeper-opts 및 hbase-master-opts에 대한 값을 구성하기 위한 부트스트랩 작업은 다음 예에 표시되어 있습니다.

참고

2.x 및 3.x AMI 버전 Linux 명령에 사용하거나 제외할 수 있습니다. Windows에서는 제외시키거나 캐럿(^)으로 바꿉니다.

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase-daemons,\
Args=["--hbase-zookeeper-opts=-Xmx1024m -XX:GCTimeRatio=19","--hbase-master-opts=-Xmx2048m","--hbase-regionserver-opts=-Xmx4096m"]

HBase 사이트 설정 구성

Amazon EMR은 HBase의 구성을 변경하는 데 사용할 수 있는 부트스트랩 작업 s3://elasticmapreduce/bootstrap-actions/configure-hbase를 제공합니다. 구성 값을 부트스트랩 작업의 인수로 하나씩 설정하거나 Amazon S3에서 XML 구성 파일의 위치를 지정할 수 있습니다. 일부 구성 설정만 설정해야 하는 경우 구성 값을 하나씩 설정하는 것이 유용합니다. 변경해야 할 사항이 많거나 재사용할 수 있도록 구성 설정을 저장하려는 경우 XML 파일을 사용하여 설정하는 것이 유용합니다.

참고

Amazon S3 버킷 이름의 접두사로 리전 접두사를 붙일 수 있습니다(예: s3://region.elasticmapreduce/bootstrap-actions/configure-hbase) 여기서 region은 HBase 클러스터를 시작하는 리전입니다.

이 부트스트랩 작업은 HBase 클러스터의 /home/hadoop/conf/hbase-site.xml 구성 파일을 수정합니다. HBase 클러스터가 시작될 경우에만 부트스트랩 작업을 실행할 수 있습니다.

구성할 수 있는 HBase 사이트 설정에 대한 자세한 내용은 HBase 설명서에서 Default configuration을 참조하세요.

HBase 클러스터 시작 시 configure-hbase 부트스트랩 작업을 설정하고 변경할 hbase-site.xml 내에서 값을 지정합니다.

AWS CLI를 사용하여 개별 HBase 설정을 지정하려면

  • hbase.hregion.max.filesize 설정을 변경하려면 다음 명령을 입력하고 myKey를 Amazon EC2 키 페어의 이름으로 바꿉니다.

    참고

    2.x 및 3.x AMI 버전 Linux 명령에 사용하거나 제외할 수 있습니다. Windows에서는 제외시키거나 캐럿(^)으로 바꿉니다.

    aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase,Args=["-s","hbase.hregion.max.filesize=52428800"]
AWS CLI를 사용하여 XML 파일을 통해 HBase 사이트 설정을 지정하려면

  1. 사용자 지정 hbase-site.xml 버전을 생성합니다. 사용자 지정 파일은 유효한 XML이어야 합니다. 오류 발생 가능성을 줄이려면 파일을 처음부터 새로 생성하는 대신에 /home/hadoop/conf/hbase-site.xml의 Amazon EMR HBase 프라이머리 노드에 위치한 hbase-site.xml의 기본 복사본으로 시작하여 해당 파일의 복사본을 편집합니다. 새 파일에 새 이름을 지정하거나 hbase-site.xml를 그대로 사용할 수 있습니다.

  2. 사용자 지정 hbase-site.xml 파일을 Amazon S3 버킷에 업로드합니다. 클러스터를 시작하는 AWS 계정에서 파일에 액세스할 수 있도록 권한을 설정해야 합니다. 클러스터를 시작하는 AWS 계정이 Amazon S3 버킷도 소유하는 경우 이 계정에는 액세스 권한이 부여됩니다.

  3. HBase 클러스터 시작 시 configure-hbase 부트스트랩 작업을 설정하고 사용자 지정 hbase-site.xml 파일의 위치를 포함합니다. 다음 예제에서는 HBase 사이트 구성 값을 s3://mybucket/my-hbase-site.xml 파일에 지정된 값으로 설정합니다. 다음 명령을 입력하고 myKey를 EC2 키 페어의 이름으로 바꾸고 mybucket을 Amazon S3 버킷의 이름으로 바꿉니다.

    참고

    2.x 및 3.x AMI 버전 Linux 명령에 사용하거나 제외할 수 있습니다. Windows에서는 제외시키거나 캐럿(^)으로 바꿉니다.

    aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
        --applications Name=Hue Name=Hive Name=Pig Name=HBase \
        --use-default-roles --ec2-attributes KeyName=myKey \
        --instance-type c1.xlarge --instance-count 3 --termination-protected \
        --bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase,Args=["--site-config-file","s3://mybucket/config.xml"]

    HBase 작업을 사용자 지정하는 옵션을 두 개 이상 지정하는 경우 다음 예제에 표시된 대로 각 키-값 쌍 앞에 -s 옵션 스위치를 추가해야 합니다.

    
       --bootstrap-actions s3://elasticmapreduce/bootstrap-actions/configure-hbase,Args=["-s","zookeeper.session.timeout=60000"]

프록시 세트와 SSH 연결이 열린 상태에서 http://master-public-dns-name:60010/master-status가 포함된 브라우저 창을 열어서 HBase UI를 볼 수 있습니다. 여기서 master-public-dns-name은 HBase클러스터에 있는 마스터 노드의 퍼블릭 DNS 주소입니다.

SSH를 사용하여 마스터 노드에 연결하고 mnt/var/log/hbase 디렉터리로 이동하여 현재 HBase 로그를 볼 수 있습니다. 클러스터가 시작될 때 Amazon S3에 대한 로깅이 활성화되지 않은 경우 이 로그는 클러스터가 종료된 후 사용할 수 없습니다.

HBase 백업 및 복원

Amazon EMR은 수동 또는 자동 일정에 따라 HBase 데이터를 Amazon S3에 백업하는 기능을 제공합니다. 전체 및 증분 백업을 모두 수행할 수 있습니다. HBase 데이터의 백업 버전이 있으면 해당 버전을 HBase 클러스터로 복원할 수 있습니다. 현재 실행중인 HBase 클러스터로 복원하거나 백업된 데이터로 미리 채워진 새 클러스터를 시작할 수 있습니다.

백업 프로세스 중에 HBase는 쓰기 명령을 계속 실행합니다. 이렇게 하면 백업 중에 클러스터를 계속 사용할 수 있지만 백업 중인 데이터와 모든 쓰기 작업을 동시에 실행하는 데 불일치가 발생할 수 있습니다. 발생할 수 있는 불일치를 이해하려면 HBase가 클러스터의 노드에서 쓰기 작업을 분산시키는 것을 고려해야 합니다. 특정 노드가 폴링된 후 쓰기 작업이 발생하면 해당 데이터는 백업 아카이브에 포함되지 않습니다. 이미 폴링된 노드로 전송된 HBase 클러스터에 대한 이전 쓰기는 백업 아카이브에 없을 수 있으며 나중에 쓰기(폴링되기 전에 노드에 전송됨)가 포함됩니다.

이미 폴링된 노드로 전송된 HBase 클러스터에 대한 이전 쓰기는 백업 아카이브에 없을 수 있으며 나중에 쓰기(폴링되기 전에 노드에 전송됨)가 포함됩니다. 백업을 요청할 때 --consistent 파라미터를 지정하여 이 작업을 수행할 수 있습니다. 이 파라미터를 사용하면 이 기간 동안의 쓰기가 대기 상태가 되고 동기화가 완료되는 즉시 실행됩니다. 하나의 백업 단계에서 누락된 데이터가 다음 단계에서 백업되므로 시간 경과에 따른 불일치를 해결하는 반복 백업을 예약할 수도 있습니다.

HBase 데이터를 백업할 때 각 클러스터마다 다른 백업 디렉터리를 지정해야 합니다. 이를 수행하는 쉬운 방법은 클러스터 식별자를 백업 디렉터리에 지정된 경로의 일부로 사용하는 것입니다. 예: s3://mybucket/backups/j-3AEXXXXXX16F2. 이렇게 하면 향후 증분 백업이 올바른 HBase 클러스터를 참조하도록 보장할 수 있습니다.

더 이상 필요 없는 이전 백업 파일을 삭제할 준비가 되면 HBase 데이터의 전체 백업을 먼저 수행하는 것이 좋습니다. 이렇게 하면 모든 데이터가 보존되고 향후 증분 백업에 대한 기준이 제공됩니다. 전체 백업이 완료되면 백업 위치로 이동하여 수동으로 이전 백업 파일을 삭제할 수 있습니다.

HBase 백업 프로세스는 복사 작업에 S3DistCp를 사용합니다. 이 작업에는 임시 파일 스토리지 공간과 관련하여 특정 제한이 있습니다.

콘솔을 사용하여 HBase 백업 및 복원

콘솔은 새 클러스터를 시작하고 이전 HBase 백업의 데이터로 채울 수 있는 기능을 제공합니다. 또한 HBase 데이터를 주기적으로 증분 백업하도록 예약할 수 있습니다. 이미 실행 중인 클러스터로 데이터를 복원하고, 수동 백업을 수행하고, 자동화된 전체 백업을 예약하는 기능과 같은 추가 백업 및 복원 기능은 CLI를 통해 사용할 수 있습니다.

콘솔을 사용하여 아카이브된 HBase 데이터로 새 클러스터를 채우려면

  1. 새 Amazon EMR 콘솔로 이동하고 측면 탐색에서 이전 콘솔로 전환을 선택합니다. 이전 콘솔로 전환할 때 예상되는 사항에 대한 자세한 내용은 이전 콘솔 사용을 참조하세요.

  2. 클러스터 생성(Create cluster)을 선택합니다.

  3. 소프트웨어 구성 섹션에서 추가 애플리케이션에 대해 HBase 및 구성 및 추가를 선택합니다.

  4. 애플리케이션 추가 대화 상자에서 Restore From Backup(백업에서 복원)을 선택합니다.

  5. 백업 위치에서 새 HBase 클러스터에 로드할 백업의 위치를 지정합니다. 이는 s3://myawsbucket/backups/ 양식의 Amazon S3 URL이어야 합니다.

  6. Backup version(백업 버전)에 대해 값을 설정하여 로드할 백업 버전의 이름을 지정할 수 있습니다. 백업 버전의 값을 설정하지 않을 경우 Amazon EMR이 지정된 위치에 최신 백업을 로드합니다.

  7. 추가를 선택하고 필요에 따라 다른 옵션으로 클러스터를 생성합니다.

콘솔을 사용하여 HBase 데이터의 자동 백업을 예약하려면

  1. 소프트웨어 구성 섹션에서 추가 애플리케이션에 대해 HBase 및 구성 및 추가를 선택합니다.

  2. Schedule Regular Backups(정기 백업 예약)를 선택합니다.

  3. 백업의 일관성 여부를 지정합니다. 일관된 백업은 초기 백업 단계, 즉 노드 간 동기화 중에 쓰기 작업을 일시 중지하는 백업입니다. 이렇게 일시 중지된 쓰기 작업은 대기열에 배치되고 동기화가 완료되면 다시 시작됩니다.

  4. Backup frequency(백업 빈도)에 숫자를 입력하고 일, 시간 또는 분을 선택하여 백업이 수행되는 빈도를 설정합니다. 실행되는 첫 번째 자동 백업은 전체 백업입니다. 그 후 Amazon EMR은 사용자가 지정한 일정에 따라 증분 백업을 저장합니다.

  5. 백업이 저장되는 Amazon S3의 위치를 지정합니다. 증분 백업이 올바르게 계산되도록 하기 위해 각 HBase 클러스터를 Amazon S3의 별도 위치에 백업해야 합니다.

  6. Backup Start Time(백업 시작 시간)에 대한 값을 설정하여 첫 번째 백업이 발생해야 할 시점을 지정합니다. 클러스터가 실행되는 즉시 첫 번째 백업이 시작되도록 now로 설정하거나, ISO 형식으로 날짜와 시간을 입력할 수 있습니다. 예를 들어, 2013-09-26T20:00Z는 시작 시간을 2013년 9월 26일 오후 8시(UTC)로 설정합니다.

  7. 추가(Add)를 선택합니다.

  8. 계속해서 필요에 따라 다른 옵션으로 클러스터를 생성합니다.

CloudWatch를 이용한 HBase 모니터링

Amazon EMR은 HBase 백업을 모니터링하는 데 사용할 수 있는 세 가지 지표를 CloudWatch에 보고합니다. 이러한 지표는 5분 간격으로 CloudWatch로 푸시되고, 무료로 제공됩니다.

지표 설명
HBaseBackupFailed

마지막 백업 실패 여부입니다. 이 값은 기본적으로 0으로 설정되고 이전 백업 시도가 실패하면 1로 업데이트됩니다. 이 지표는 HBase 클러스터에 대해서만 보고됩니다.

사용 사례: HBase 백업 모니터링

Units: Count
HBaseMostRecentBackupDuration

이전 백업이 완료되는 데 걸린 시간입니다. 이 지표는 마지막으로 완료된 백업의 성공 여부에 관계없이 설정됩니다. 백업이 진행되는 동안 이 지표는 백업이 시작된 후의 시간(분)을 반환합니다. 이 지표는 HBase 클러스터에 대해서만 보고됩니다.

사용 사례: HBase 백업 모니터링

단위: 분
HBaseTimeSinceLastSuccessfulBackup

클러스터에서 마지막으로 성공한 HBase 백업이 시작된 후 경과된 시간 (분)입니다. 이 지표는 HBase 클러스터에 대해서만 보고됩니다.

사용 사례: HBase 백업 모니터링

단위: 분

HBase용 Ganglia 구성

configure-hbase-for-ganglia 부트스트랩 작업을 사용하여 HBase용 Ganglia를 구성합니다. 이 부트스트랩 작업은 HBase가 지표를 Ganglia에 게시하도록 구성합니다.

클러스터를 시작할 때 HBase와 Ganglia를 구성해야 합니다. 실행중인 클러스터에 Ganglia 보고를 추가할 수 없습니다.

또한 Ganglia는 /mnt/var/log/ganglia/rrds에서 서버에 로그 파일을 저장합니다. 로그 파일을 Amazon S3 버킷에 보관하도록 클러스터를 구성한 경우, Ganglia 로그 파일도 여기에 보관됩니다.

HBase용 Ganglia가 설치된 클러스터를 시작하려면 다음 예제에 표시된 대로 configure-hbase-for-ganglia 부트스트랩 작업을 사용합니다.

참고

2.x 및 3.x AMI 버전 Linux 명령에 사용하거나 제외할 수 있습니다. Windows에서는 제외시키거나 캐럿(^)으로 바꿉니다.

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase Name=Ganglia \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase-for-ganglia

Ganglia가 구성된 클러스터가 시작되면 마스터 노드에서 실행중인 그래픽 인터페이스를 사용하여 Ganglia 그래프와 보고서에 액세스할 수 있습니다.