Ganglia で HBase を監視する

Ganglia オープンソースプロジェクトは拡張可能な分散システムで、パフォーマンスへの影響を最小限に抑えながら、クラスターやグリッドをモニタリングできるように設計されています。クラスターで Ganglia を有効にすると、レポートを生成し、クラスター全体のパフォーマンスを表示するだけでなく、個別のノードインスタンスのパフォーマンスを調べることができます。Ganglia オープンソースプロジェクトの詳細については、http://ganglia.info/ を参照してください。Amazon EMR クラスターでの Ganglia の使用の詳細については、「Ganglia」を参照してください。

Ganglia を設定してクラスターを起動した後は、マスターノードで実行中のグラフィカルインターフェイスを使用して、Ganglia のグラフやレポートにアクセスできます。

Ganglia は /mnt/var/lib/ganglia/rrds/ ディレクトリのマスターノードにログファイルを保存します。Amazon EMR の以前のリリースバージョンは /var/log/ganglia/rrds/ ディレクトリにログファイルを保存する場合があります。

AWS CLI を使用して Ganglia および HBase のクラスターを設定するには

• 以下のような create-cluster コマンドを使用します。

  aws emr create-cluster --name "Test cluster" --release-label emr-5.36.0 \
  --applications Name=HBase Name=Ganglia --use-default-roles \
  --ec2-attributes KeyName=myKey --instance-type m5.xlarge \
  --instance-count 3

  注記

  デフォルトの Amazon EMR サービスロールと Amazon EC2 インスタンスプロファイルが存在しない場合、エラーが発生します。aws emr create-default-roles コマンドを使用して作成してから、もう一度お試しください。

  詳細については、「AWS CLI の Amazon EMR コマンド」を参照してください。

Ganglia のウェブインターフェイスで HBase メトリクスを表示するには

1. SSH を使用してマスターノードにトンネル接続し、安全な接続を確立します。詳細については、「Amazon EMR 管理ガイド」の「オプション 2、パート 1: ダイナミックポートフォワーディングを使用してマスターノードへの SSH トンネルをセットアップする」を参照してください。

2. AWSドメイン用の SOCKS プロキシを作成するには、Firefox FoxyProxy 用プラグインなどのプロキシツールを備えた Web ブラウザをインストールします。詳細については、「Amazon EMR 管理ガイド」の「オプション 2、パート 2: マスターノードでホストされるウェブサイトを表示するようにプロキシを設定する」を参照してください。

3. プロキシを設定して SSH 接続を開いた状態で、ブラウザウィンドウに http://master-public-dns-name/ganglia/ を開いて Ganglia メトリクスを表示できます。ここで、master-public-dns-nameは HBase クラスター内のマスターサーバーのパブリック DNS アドレスです。

マスターノードで Ganglia ログファイルを表示するには

• クラスターが実行中の場合、ログファイルにアクセスするには、SSH を使用してマスターノードに接続し、/mnt/var/lib/ganglia/rrds/ ディレクトリに移動します。EMR 3.x の場合、/var/log/ganglia/rrds ディレクトリに移動します。詳細については、「Amazon EMR 管理ガイド」の「SSH を使用してマスターノードに接続する」を参照してください。

Amazon S3 で Ganglia ログファイルを表示するには

• クラスターのログを有効にしても、Ganglia ログファイルは自動的に Amazon S3 に書き込まれません。Amazon S3 で Ganglia ログファイルを表示するには、/mnt/var/lib/ganglia/rrds/ から S3 バケットにログを手動でプッシュする必要があります。