GangliaHBase로 모니터링 - Amazon EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

GangliaHBase로 모니터링

참고

GangliaEMR를 포함하는 Amazon의 마지막 릴리스는 Amazon EMR 6.15.0이었습니다. 클러스터를 모니터링하기 위해 6.15.0보다 높은 릴리스에는 Amazon CloudWatch 에이전트가 포함됩니다.

Ganglia 오픈 소스 프로젝트는 성능에 미치는 영향을 최소화하면서 클러스터 및 그리드를 모니터링하도록 설계된 확장 가능한 분산 시스템입니다. 클러스터에서 Ganglia를 활성화하면 보고서를 생성하고 전체 클러스터의 성능을 볼 수 있으며 개별 노드 인스턴스의 성능을 검사할 수 있습니다. Ganglia 오픈 소스 프로젝트에 대한 자세한 내용은 http://ganglia.info/를 참조하십시오. Amazon EMR 클러스터에서 Ganglia를 사용하는 방법에 대한 자세한 내용은 섹션을 참조하세요Ganglia.

Ganglia가 구성된 클러스터가 시작되면 프라이머리 노드에서 실행중인 그래픽 인터페이스를 사용하여 Ganglia 그래프와 보고서에 액세스할 수 있습니다.

Ganglia는 /mnt/var/lib/ganglia/rrds/ 디렉터리의 프라이머리 노드에 로그 파일을 저장합니다. Amazon의 이전 릴리스 버전은 /var/log/ganglia/rrds/ 디렉터리에 로그 파일을 저장할 EMR 수 있습니다.

를 HBase 사용하여 Ganglia 및에 대한 클러스터를 구성하려면 AWS CLI

  • 다음과 유사한 create-cluster 명령을 사용합니다.

    aws emr create-cluster --name "Test cluster" --release-label emr-7.5.0 \
--applications Name=HBase Name=Ganglia --use-default-roles \
--ec2-attributes KeyName=myKey --instance-type m5.xlarge \
--instance-count 3
    참고

    기본 Amazon EMR 서비스 역할과 Amazon EC2 인스턴스 프로파일이 없는 경우 오류가 발생합니다. aws emr create-default-roles 명령을 사용하여 해당 역할 및 프로파일을 생성한 다음 다시 시도하십시오.

    자세한 내용은 의 Amazon EMR 명령을 참조하세요 AWS CLI.

Ganglia 웹 인터페이스에서 HBase 지표를 보려면

  1. SSH를 사용하여 기본 노드로 터널링하고 보안 연결을 생성합니다. 자세한 내용은 Amazon EMR 관리 안내서의 옵션 2, 1부: 동적 포트 전달을 사용하여 기본 노드에 SSH 터널 설정을 참조하세요.

  2. Firefox용 FoxyProxy 플러그인과 같은 프록시 도구를 사용하여 웹 브라우저를 설치하여 AWS 도메인용 SOCKS 프록시를 생성합니다. 자세한 내용은 Amazon EMR 관리 안내서의 옵션 2, 2부: 기본 노드에서 호스팅되는 웹 사이트를 볼 수 있도록 프록시 설정 구성을 참조하세요.

  3. 프록시 세트와 SSH 연결이 열린 상태에서 http://master-public-dns-name/ganglia/가 있는 브라우저 창을 열어 Ganglia 지표를 볼 수 있습니다. 여기서 master-public-dns-name는 HBase 클러스터에 있는 마스터 서버의 퍼블릭 DNS 주소입니다.

프라이머리 노드에서 Ganglia 로그 파일을 보는 방법

  • 클러스터가 여전히 실행 중인 경우를 사용하여 기본 노드SSH에 연결하고 /mnt/var/lib/ganglia/rrds/ 디렉터리로 이동하여 로그 파일에 액세스할 수 있습니다. EMR 3.x의 경우 /var/log/ganglia/rrds 디렉터리로 이동합니다. 자세한 내용은 Amazon EMR 관리 안내서의를 사용하여 기본 노드에 연결을 SSH 참조하세요.

Amazon S3에서 Ganglia 로그 파일을 보는 방법

  • Ganglia 로그 파일은 클러스터에 대해 로깅을 활성화하더라도 Amazon S3에 자동으로 기록되지 않습니다. Amazon S3에서 Ganglia 로그 파일을 보려면 수동으로 /mnt/var/lib/ganglia/rrds/에서 S3 버킷으로 로그를 푸시해야 합니다.