檢視叢集狀態和詳細資訊 - Amazon EMR
使用 AWS Management Console檢視叢集詳細資訊使用檢視叢集詳細資訊 AWS CLI

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

檢視叢集狀態和詳細資訊

建立叢集後，您可以監控叢集的狀態，也可以取得叢集執行狀況和可能發生過的錯誤的詳細資訊，即使叢集已經終止也無妨。Amazon 會EMR儲存有關已終止叢集的中繼資料，供您參考兩個月，之後會刪除中繼資料。您無法刪除叢集歷程記錄中的叢集，但在使用 AWS Management Console時可使用 Filter (篩選條件)，而使用 AWS CLI時則可透過選項搭配 list-clusters 命令，藉以聚焦在您所關注的叢集上。

應用程式歷程記錄從記錄開始的時間起算，會保留一週供您存取，無論叢集是在執行中抑或已終止。此外，在叢集終止後，持續應用程式使用者界面會在叢集外將應用程式歷程記錄保存 30 天。請參閱檢視應用程式歷史記錄。

如需叢集狀態 (例如「等待中」和「執行中」) 的詳細資訊，請參閱 了解叢集生命週期。

使用 AWS Management Console檢視叢集詳細資訊

https://console.aws.amazon.com/emr 中的叢集清單會列出您帳戶和 AWS 區域中的所有叢集，包括已終止的叢集。此清單會顯示每個叢集的下列資訊：名稱和 ID、狀態和狀態詳細資訊、建立時間、叢集執行的經歷時間，以及叢集中所有EC2執行個體累積的標準化執行個體小時數。這份清單就是用來監控叢集狀態的起點。它的設計用意是要讓使用者深入探索各個叢集的詳細資訊，以供分析和疑難排解。

Console
使用主控台檢視叢集資訊

  1. 登錄到 AWS Management Console, 並打開 Amazon EMR 控制台 https://console.aws.amazon.com/emr.

  2. EC2在左側導覽窗格的 [開EMR啟] 下，選擇 [叢集]，然後選取您要檢視的叢集。

  3. 使用「摘要」面板可檢視叢集組態的基本知識，例如叢集狀態、Amazon EMR 安裝在叢集上的開放原始碼應用程式，以及您EMR用來建立叢集的 Amazon 版本。使用「摘要」下的每個標籤可檢視下表中所述的資訊。

使用檢視叢集詳細資訊 AWS CLI

以下範例示範了如何使用 AWS CLI擷取叢集的詳細資訊。如需有關可用命令的詳細資訊，請參閱 Amazon 的AWS CLI 命令參考EMR。您可以使用描述叢集命令來檢視叢集層級的詳細資訊，包括狀態、硬體和軟體組態、VPC設定、啟動程序動作、執行個體群組等。如需有關叢集狀態的詳細資訊，請參閱 了解叢集生命週期。以下範例示範 describe-cluster 命令的使用方式，後續還會提供 list-clusters 命令的範例。

範例 檢視叢集狀態

若要使用 describe-cluster 命令，則需要有叢集 ID。此範例示範如何使用取得在特定日期範圍內建立的叢集清單，然後使用IDs傳回的其中一個叢集來列出有關個別叢集狀態的詳細資訊。

下面的命令描述了集群 j-1K48XXXXXXHCB，您將其取代為叢集 ID。

aws emr describe-cluster --cluster-id j-1K48XXXXXXHCB

您命令的輸出會類似如下：

{
    "Cluster": {
        "Status": {
            "Timeline": {
                "ReadyDateTime": 1438281058.061, 
                "CreationDateTime": 1438280702.498
            }, 
            "State": "WAITING", 
            "StateChangeReason": {
                "Message": "Waiting for steps to run"
            }
        }, 
        "Ec2InstanceAttributes": {
            "EmrManagedMasterSecurityGroup": "sg-cXXXXX0", 
            "IamInstanceProfile": "EMR_EC2_DefaultRole", 
            "Ec2KeyName": "myKey", 
            "Ec2AvailabilityZone": "us-east-1c", 
            "EmrManagedSlaveSecurityGroup": "sg-example"
        }, 
        "Name": "Development Cluster", 
        "ServiceRole": "EMR_DefaultRole", 
        "Tags": [], 
        "TerminationProtected": false, 
        "ReleaseLabel": "emr-4.0.0", 
        "NormalizedInstanceHours": 16, 
        "InstanceGroups": [
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281058.101, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "CORE", 
                "InstanceGroupType": "CORE", 
                "Id": "ig-2EEXAMPLEXXP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }, 
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281023.879, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "MASTER", 
                "InstanceGroupType": "MASTER", 
                "Id": "ig-2A1234567XP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }
        ], 
        "Applications": [
            {
                "Version": "1.0.0", 
                "Name": "Hive"
            }, 
            {
                "Version": "2.6.0", 
                "Name": "Hadoop"
            }, 
            {
                "Version": "0.14.0", 
                "Name": "Pig"
            }, 
            {
                "Version": "1.4.1", 
                "Name": "Spark"
            }
        ], 
        "BootstrapActions": [], 
        "MasterPublicDnsName": "ec2-X-X-X-X.compute-1.amazonaws.com", 
        "AutoTerminate": false, 
        "Id": "j-jobFlowID", 
        "Configurations": [
            {
                "Properties": {
                    "hadoop.security.groups.cache.secs": "250"
                }, 
                "Classification": "core-site"
            }, 
            {
                "Properties": {
                    "mapreduce.tasktracker.reduce.tasks.maximum": "5", 
                    "mapred.tasktracker.map.tasks.maximum": "2", 
                    "mapreduce.map.sort.spill.percent": "90"
                }, 
                "Classification": "mapred-site"
            }, 
            {
                "Properties": {
                    "hive.join.emit.interval": "1000", 
                    "hive.merge.mapfiles": "true"
                }, 
                "Classification": "hive-site"
            }
        ]
    }
}
範例 按建立日期列出叢集

若要擷取在指定日期範圍內建立的叢集，請使用 list-clusters 命令搭配 --created-after 及 --created-before 參數。

以下命令會列出 2019 年 10 月 9 日到 2019 年 10 月 12 日之間建立的所有叢集。

aws emr list-clusters --created-after 2019-10-09T00:12:00 --created-before 2019-10-12T00:12:00
範例 按狀態列出叢集

若要按狀態列出叢集，請使用 list-clusters 命令搭配 --cluster-states 參數。有效的叢集狀態包括：STARTINGBOOTSTRAPPINGRUNNINGWAITING、TERMINATING、TERMINATED、、和 TERMINATED _ WITH _ ERRORS。

aws emr list-clusters --cluster-states TERMINATED

您也可以使用以下捷徑參數列出所有處在指定狀態下的叢集：

  • --active篩選STARTING、、BOOTSTRAPPINGRUNNING、WAITING或TERMINATING狀態中的叢集。

  • --terminated篩選TERMINATED狀態中的叢集。

  • --failed參數篩選叢集處於 TERMINATED _ WITH _ ERRORS 狀態。

以下命令會傳回相同的結果。

aws emr list-clusters --cluster-states TERMINATED
aws emr list-clusters --terminated

如需有關叢集狀態的詳細資訊，請參閱 了解叢集生命週期。