クラスターステータスと詳細の表示 - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

クラスターステータスと詳細の表示

クラスターを作成すると、終了した後でもそのステータスを監視し、その実行と発生した可能性のあるエラーに関する詳細情報を取得できます。Amazon EMR は、終了したクラスターに関するメタデータを 2 か月間参照用に保存します。その後、メタデータは削除されます。クラスター履歴からクラスターを削除することはできませんが、AWS Management Console で [Filter (フィルター)] と AWS CLI を使用し、オプションと list-clusters コマンドを使って対象のクラスターを注視できます。

クラスターに保存されたアプリケーション履歴は、クラスターが実行中であるか終了されたかにかかわらず、記録後 1 週間アクセスできます。さらに、永続アプリケーションユーザーインターフェイスは、クラスターが終了してから 30 日間、クラスター外にアプリケーション履歴を保存します。「アプリケーションの履歴を表示する」を参照してください。

待機中、実行中などの、クラスターの状態の詳細については、「クラスターライフサイクルについて」を参照してください。

AWS Management Console を使用したクラスターステータスの表示

Amazon EMR コンソール[Clusters List] (クラスターリスト) には、終了されたクラスターを含め、アカウントと AWS リージョン内のすべてのクラスターが表示されます。このリストには、各クラスターについて、[名前] および [ID][ステータス]、クラスターの [作成時刻]、クラスターが実行されていた [経過時間]、およびクラスター内のすべての EC2 インスタンスで計上された [正規化インスタンス時間] が表示されます。このリストは、クラスターのステータスをモニタリングするための開始点であり、分析とトラブルシューティングのため、各クラスターの詳細にドリルダウンできるよう設計されています。

クラスター情報の概要を表示するには

  • [Name] の下で、クラスターへのリンクの横にある矢印を選択します。

    クラスターの列が展開され、クラスター、ハードウェア、ステップ、およびブートストラップアクションに関する詳細情報が表示されます。このセクションにあるリンクを使用して、詳細を表示します。たとえば、[Steps] のリンクをクリックすると、ステップログファイルへのアクセス、ステップに関連付けられた JAR の表示、ステップのジョブとタスクの詳細の表示、ログファイルへのアクセスができます。

    
						クラスター情報

クラスターステータスを詳細に表示するには

  • [Name] の下のクラスターのリンクを選択して、クラスターの詳細ページを開きます。以下のセクションで説明しているように、各タブを使用して情報を表示します。

    各タブを使用して以下の情報を表示できます。

    
                クラスター情報
    タブ 情報

    概要

    このタブを使用して、クラスター設定の基本情報 (マスターノードへの SSH 接続に使用する URL、クラスターの作成時に Amazon EMR によってインストールされたオープンソースアプリケーション、Amazon S3 のログの保存場所、クラスターの作成に使用された Amazon EMR のバージョンなど) を表示します。

    Application user interfaces (アプリケーションユーザーインターフェイス)

    このタブを使用して、クラスター外の永続 YARN タイムラインサーバーと Tez UI アプリケーションの詳細を表示します。Spark ジョブの場合、ベース、ステージ、エグゼキュターに関して利用可能な情報をドリルダウンできます。詳細については、「アプリケーションの履歴を表示する」を参照してください。クラスターの実行中は、クラスター上のアプリケーションユーザーインターフェイスを使用できます。

    モニタリング

    このタブを使用して、指定した期間のクラスター操作の主要な指標を表すグラフを表示できます。I/O およびデータストレージに関するクラスターレベルのデータ、ノードレベルのデータ、および情報を表示できます。

    ハードウェア

    このタブを使用して、EC2 インスタンスの ID、DNS 名、IP アドレスなど、クラスター内のノードに関する情報を表示します。

    イベント

    このタブを使用して、クラスターのイベントログを表示します。詳細については、「監視 CloudWatch イベント」を参照してください。

    ステップ

    このタブを使用して、送信したステップのステータスを表示し、ログファイルにアクセスします。ステップの詳細については、「クラスターへの作業の送信」を参照してください。

    設定

    このタブを使用して、クラスターに適用された、カスタマイズされた設定オブジェクトを表示します。設定分類の詳細については、「Amazon EMR リリース ガイド」の「アプリケーションの設定」を参照してください。

    ブートストラップアクション

    このタブを使用して、起動時にクラスターが実行するブートストラップアクションのステータスを表示します。ブートストラップアクションは、カスタムソフトウェアのインストールと詳細な設定に使用されます。詳細については、「追加のソフトウェアをインストールするためのブートストラップアクションの作成」を参照してください。

AWS CLI を使用したクラスターステータスの表示

以下の例では、AWS CLI を使用してクラスターの詳細を取得する方法を示します。使用可能なコマンドの詳細については、「Amazon EMR の AWS CLI コマンドリファレンス」を参照してください。ステータス、ハードウェアやソフトウェアの設定、VPC 設定、ブートストラップアクション、インスタンスグループなど、クラスターレベルの詳細を表示するには、describe-cluster コマンドを使用します。クラスターの状態の詳細については、「クラスターライフサイクルについて」を参照してください。次の例は、describe-cluster コマンドの使用と、それに続けて list-clusters コマンドの例を示しています。

例 クラスターステータスの表示

describe-cluster コマンドを使用するには、クラスター ID が必要です。この例では、特定の日付範囲内に作成されたクラスターの一覧を取得し、返されたクラスター ID の 1 つを使用して、個別のクラスターのステータスに関する詳細情報を表示する方法を示します。

次のコマンドは、クラスター ID で置き換えるクラスター j-1K48XXXXXXHCB を示します。

aws emr describe-cluster --cluster-id j-1K48XXXXXXHCB

コマンドの出力は、次のようになります。

{ "Cluster": { "Status": { "Timeline": { "ReadyDateTime": 1438281058.061, "CreationDateTime": 1438280702.498 }, "State": "WAITING", "StateChangeReason": { "Message": "Waiting for steps to run" } }, "Ec2InstanceAttributes": { "EmrManagedMasterSecurityGroup": "sg-cXXXXX0", "IamInstanceProfile": "EMR_EC2_DefaultRole", "Ec2KeyName": "myKey", "Ec2AvailabilityZone": "us-east-1c", "EmrManagedSlaveSecurityGroup": "sg-example" }, "Name": "Development Cluster", "ServiceRole": "EMR_DefaultRole", "Tags": [], "TerminationProtected": false, "ReleaseLabel": "emr-4.0.0", "NormalizedInstanceHours": 16, "InstanceGroups": [ { "RequestedInstanceCount": 1, "Status": { "Timeline": { "ReadyDateTime": 1438281058.101, "CreationDateTime": 1438280702.499 }, "State": "RUNNING", "StateChangeReason": { "Message": "" } }, "Name": "CORE", "InstanceGroupType": "CORE", "Id": "ig-2EEXAMPLEXXP", "Configurations": [], "InstanceType": "m5.xlarge", "Market": "ON_DEMAND", "RunningInstanceCount": 1 }, { "RequestedInstanceCount": 1, "Status": { "Timeline": { "ReadyDateTime": 1438281023.879, "CreationDateTime": 1438280702.499 }, "State": "RUNNING", "StateChangeReason": { "Message": "" } }, "Name": "MASTER", "InstanceGroupType": "MASTER", "Id": "ig-2A1234567XP", "Configurations": [], "InstanceType": "m5.xlarge", "Market": "ON_DEMAND", "RunningInstanceCount": 1 } ], "Applications": [ { "Version": "1.0.0", "Name": "Hive" }, { "Version": "2.6.0", "Name": "Hadoop" }, { "Version": "0.14.0", "Name": "Pig" }, { "Version": "1.4.1", "Name": "Spark" } ], "BootstrapActions": [], "MasterPublicDnsName": "ec2-X-X-X-X.compute-1.amazonaws.com", "AutoTerminate": false, "Id": "j-jobFlowID", "Configurations": [ { "Properties": { "hadoop.security.groups.cache.secs": "250" }, "Classification": "core-site" }, { "Properties": { "mapreduce.tasktracker.reduce.tasks.maximum": "5", "mapred.tasktracker.map.tasks.maximum": "2", "mapreduce.map.sort.spill.percent": "90" }, "Classification": "mapred-site" }, { "Properties": { "hive.join.emit.interval": "1000", "hive.merge.mapfiles": "true" }, "Classification": "hive-site" } ] } }

例 作成日に基づくクラスターの一覧表示

特定の日付範囲内に作成されたクラスターを取得するには、list-clusters コマンドと --created-after パラメータおよび --created-before パラメータを使用します。

次のコマンドは、2019 年 10 月 9 日~2019 年 10 月 12 日に作成されたすべてのクラスターを一覧表示します。

aws emr list-clusters --created-after 2019-10-09T00:12:00 --created-before 2019-10-12T00:12:00

例 状態に基づくクラスターの一覧表示

状態に基づいてクラスターの一覧を表示するには、list-clusters コマンドを使用し、--cluster-states パラメータを指定します。クラスターの有効な状態は以下のとおりです。STARTING、BOOTSTRAPPING、RUNNING、WAITING、TERMINATED_WITH_ERRORS。

aws emr list-clusters --cluster-states TERMINATED

また、次のショートカットパラメータを使用して、指定された状態のすべてのクラスターを一覧表示することもできます。

  • --active は、状態が STARTING、BOOTSTRAPPING、RUNNING、WAITING、または TERMINATING であるクラスターだけをフィルタリングします。

  • --terminated は、状態が TERMINATED であるクラスターだけをフィルタリングします。

  • --failed は、状態が TERMINATED_WITH_ERRORS であるクラスターだけをフィルタリングします。

次のコマンドは同じ結果を返します。

aws emr list-clusters --cluster-states TERMINATED

aws emr list-clusters --terminated

クラスターの状態の詳細については、「クラスターライフサイクルについて」を参照してください。