クラスターステータスと詳細の表示

クラスターを作成すると、終了した後でもそのステータスを監視し、その実行と発生した可能性のあるエラーに関する詳細情報を取得できます。Amazon EMR は、終了したクラスターに関するメタデータを 2 か月間参照用に保存します。その後、メタデータは削除されます。クラスター履歴からクラスターを削除することはできませんが、AWS Management Console で [Filter (フィルター)] と AWS CLI を使用し、オプションと list-clusters コマンドを使って対象のクラスターを注視できます。

クラスターに保存されたアプリケーション履歴は、クラスターが実行中であるか終了されたかにかかわらず、記録後 1 週間アクセスできます。さらに、永続アプリケーションユーザーインターフェイスは、クラスターが終了してから 30 日間、クラスター外にアプリケーション履歴を保存します。「アプリケーションの履歴を表示する」を参照してください。

待機中、実行中などの、クラスターの状態の詳細については、「クラスターライフサイクルについて」を参照してください。

AWS Management Consoleを使用してクラスターの詳細を表示する

https://console.aws.amazon.com/emr の [クラスター] リストには、終了したクラスターを含め、アカウントと AWS リージョン内のすべてのクラスターが表示されます。このリストには、各クラスターについて、[名前] と [ID]、[ステータス] と [ステータスの詳細]、[作成時刻]、クラスターが実行されていた [経過時間]、クラスター内のすべての EC2 インスタンスで計上された [正規化インスタンス時間] が表示されます。このリストは、クラスターのステータスをモニタリングするための開始点であり、分析とトラブルシューティングのため、各クラスターの詳細にドリルダウンできるよう設計されています。

注記

Amazon EMR コンソールは、再設計され、使いやすくなりました。古いコンソールと新しいコンソールエクスペリエンスの違いについては、「コンソールの新機能」を参照してください。

New console

新しいコンソールを使用してクラスター情報を表示するには

1. AWS Management Consoleにサインインし、Amazon EMR コンソール (https://console.aws.amazon.com/emr) を開きます。

2. 左側のナビゲーションペインの [EMR on EC2] で [クラスター] を選択し、表示するクラスターを選択します。

3. [概要] パネルを使用して、クラスターのステータス、Amazon EMR がクラスターにインストールしたオープンソースアプリケーション、クラスターの作成に使用した Amazon EMR のバージョンなど、クラスター設定の基本情報を表示します。以下の表で説明するように、[概要] 配下の各タブを使用して情報を表示します。

Old console

古いコンソールを使用してクラスター情報を表示するには

1. 新しい Amazon EMR コンソールに移動し、サイドナビゲーションから [古いコンソールに切り替え] を選択します。古いコンソールに切り替えたときの動作の詳細については、「Using the old console」を参照してください。

2. クラスター情報の概要を表示するには、[名前] の下にあるクラスターのリンクの横にある下向き矢印を選択します。クラスターの列が展開され、クラスター、ハードウェア、ステップ、およびブートストラップアクションに関する詳細情報が表示されます。このセクションにあるリンクを使用して、詳細を表示します。たとえば、[Steps] のリンクをクリックすると、ステップログファイルへのアクセス、ステップに関連付けられた JAR の表示、ステップのジョブとタスクの詳細の表示、ログファイルへのアクセスができます。

3. クラスター情報の詳細を表示するには、[名前] の下にあるクラスターのリンクを選択して、クラスターの詳細ページを開きます。古いコンソールのクラスターの詳細ページでは、以下の情報を確認できます。

タブ (古いコンソール)	説明 (古いコンソール)
[Properties] (プロパティ)	このタブを使用して、クラスターのオペレーティングシステム、クラスターの終了とセキュリティ設定、VPC とサブネットの情報、Amazon S3 のログの保存場所を表示します。
ブートストラップアクション	このタブを使用して、起動時にクラスターが実行するブートストラップアクションのステータスを表示します。ブートストラップアクションは、カスタムソフトウェアのインストールと詳細な設定に使用されます。詳細については、「追加のソフトウェアをインストールするためのブートストラップアクションの作成」を参照してください。
モニタリング	このタブを使用して、クラスターの動作に関する主要なメトリクスを表示します。I/O およびデータストレージに関するクラスターレベルのデータ、ノードレベルのデータ、および情報を表示できます。
インスタンス	このタブを使用して、EC2 インスタンスの ID、DNS 名、EBS ボリュームなど、クラスター内のノードに関する情報を表示します。
ステップ	このタブを使用して、送信したステップのステータスを表示し、ログファイルにアクセスします。ステップの詳細については、「クラスターへの作業の送信」を参照してください。
アプリケーション	このタブを使用して、クラスター外の永続 YARN タイムラインサーバーと Tez UI アプリケーションの詳細を表示します。インストール済みのアプリケーション、クラスター構成、インスタンスグループに関する情報を表示することもできます。クラスターの実行中は、クラスター上のアプリケーションユーザーインターフェイスを使用できます。
のイベント	このタブを使用して、クラスターのイベントログを表示します。詳細については、「CloudWatch で Amazon EMR のイベントをモニタリングする」を参照してください。
タグ	このタブを使用して、クラスターに適用したタグをすべて表示します。

AWS CLIを使用してクラスターの詳細を表示する

以下の例では、AWS CLI を使用してクラスターの詳細を取得する方法を示します。使用可能なコマンドの詳細については、「Amazon EMR の AWS CLI コマンドリファレンス」を参照してください。ステータス、ハードウェアやソフトウェアの設定、VPC 設定、ブートストラップアクション、インスタンスグループなど、クラスターレベルの詳細を表示するには、describe-cluster コマンドを使用します。クラスターの状態の詳細については、「クラスターライフサイクルについて」を参照してください。次の例は、describe-cluster コマンドの使用と、それに続けて list-clusters コマンドの例を示しています。

例 クラスターステータスの表示

describe-cluster コマンドを使用するには、クラスター ID が必要です。この例では、特定の日付範囲内に作成されたクラスターの一覧を取得し、返されたクラスター ID の 1 つを使用して、個別のクラスターのステータスに関する詳細情報を表示する方法を示します。

次のコマンドは、クラスター ID で置き換えるクラスター j-1K48XXXXXXHCB を示します。

aws emr describe-cluster --cluster-id j-1K48XXXXXXHCB

コマンドの出力は、次のようになります。

{
    "Cluster": {
        "Status": {
            "Timeline": {
                "ReadyDateTime": 1438281058.061, 
                "CreationDateTime": 1438280702.498
            }, 
            "State": "WAITING", 
            "StateChangeReason": {
                "Message": "Waiting for steps to run"
            }
        }, 
        "Ec2InstanceAttributes": {
            "EmrManagedMasterSecurityGroup": "sg-cXXXXX0", 
            "IamInstanceProfile": "EMR_EC2_DefaultRole", 
            "Ec2KeyName": "myKey", 
            "Ec2AvailabilityZone": "us-east-1c", 
            "EmrManagedSlaveSecurityGroup": "sg-example"
        }, 
        "Name": "Development Cluster", 
        "ServiceRole": "EMR_DefaultRole", 
        "Tags": [], 
        "TerminationProtected": false, 
        "ReleaseLabel": "emr-4.0.0", 
        "NormalizedInstanceHours": 16, 
        "InstanceGroups": [
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281058.101, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "CORE", 
                "InstanceGroupType": "CORE", 
                "Id": "ig-2EEXAMPLEXXP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }, 
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281023.879, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "MASTER", 
                "InstanceGroupType": "MASTER", 
                "Id": "ig-2A1234567XP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }
        ], 
        "Applications": [
            {
                "Version": "1.0.0", 
                "Name": "Hive"
            }, 
            {
                "Version": "2.6.0", 
                "Name": "Hadoop"
            }, 
            {
                "Version": "0.14.0", 
                "Name": "Pig"
            }, 
            {
                "Version": "1.4.1", 
                "Name": "Spark"
            }
        ], 
        "BootstrapActions": [], 
        "MasterPublicDnsName": "ec2-X-X-X-X.compute-1.amazonaws.com", 
        "AutoTerminate": false, 
        "Id": "j-jobFlowID", 
        "Configurations": [
            {
                "Properties": {
                    "hadoop.security.groups.cache.secs": "250"
                }, 
                "Classification": "core-site"
            }, 
            {
                "Properties": {
                    "mapreduce.tasktracker.reduce.tasks.maximum": "5", 
                    "mapred.tasktracker.map.tasks.maximum": "2", 
                    "mapreduce.map.sort.spill.percent": "90"
                }, 
                "Classification": "mapred-site"
            }, 
            {
                "Properties": {
                    "hive.join.emit.interval": "1000", 
                    "hive.merge.mapfiles": "true"
                }, 
                "Classification": "hive-site"
            }
        ]
    }
}

例 作成日に基づくクラスターの一覧表示

特定の日付範囲内に作成されたクラスターを取得するには、list-clusters コマンドと --created-after パラメータおよび --created-before パラメータを使用します。

次のコマンドは、2019 年 10 月 9 日～2019 年 10 月 12 日に作成されたすべてのクラスターを一覧表示します。

aws emr list-clusters --created-after 2019-10-09T00:12:00 --created-before 2019-10-12T00:12:00

例 状態に基づくクラスターの一覧表示

状態に基づいてクラスターの一覧を表示するには、list-clusters コマンドを使用し、--cluster-states パラメータを指定します。クラスターの有効な状態は、STARTING、BOOTSTRAPPING、RUNNING、WAITING、TERMINATING、TERMINATED、および TERMINATED_WITH_ERRORS です。

aws emr list-clusters --cluster-states TERMINATED

また、次のショートカットパラメータを使用して、指定された状態のすべてのクラスターを一覧表示することもできます。

• --active は、状態が STARTING、BOOTSTRAPPING、RUNNING、WAITING、または TERMINATING であるクラスターだけをフィルタリングします。

• --terminated は、状態が TERMINATED であるクラスターだけをフィルタリングします。

• --failed は、状態が TERMINATED_WITH_ERRORS であるクラスターだけをフィルタリングします。

次のコマンドは同じ結果を返します。

aws emr list-clusters --cluster-states TERMINATED

aws emr list-clusters --terminated

クラスターの状態の詳細については、「クラスターライフサイクルについて」を参照してください。