CloudWatch で Amazon EMR のイベントをモニタリングする
Amazon EMR はイベントを追跡し、最大 7 日間、そのイベントに関する情報を Amazon EMR コンソールで保持します。Amazon EMR は、クラスター、インスタンスグループ、インスタンスフリート、自動スケーリングポリシー、またはステップの状態に変化があった場合にイベントを記録します。イベントは、イベントの発生日時、影響を受けた要素の詳細、その他の重要なデータポイントを取得します。
次の表は、Amazon EMR のイベントを、イベントが示す状態や状態の変化、イベントの重大度、イベントタイプ、イベントコード、およびイベントメッセージと共にリストしたものです。Amazon EMR はイベントを JSON オブジェクトで表し、自動的にイベントストリームに送信します。JSON オブジェクトは、CloudWatch Events を使用してイベント処理のルールを設定する場合に重要です。ルールでは JSON オブジェクトでパターンのマッチングが行われるからです。詳細については、「Amazon CloudWatch Events ユーザーガイド」の「イベントとイベントパターン」および「Amazon EMR イベント」を参照してください。
注記
最も適切な情報を提供できるよう、エラーメッセージは継続的に改善されています。そのため、ワークフローの次のアクションを開始するためにメッセージのテキストを解析しないようにすることをお勧めします。
クラスター起動のイベント
状態や状態の変化 | 緊急度 | イベントタイプ | イベントコード | Message |
---|---|---|---|---|
CREATING |
WARN |
Amazon EMR インスタンスフリートのプロビジョニング | EC2 provisioning - Insufficient Instance Capacity | インスタンスフリート InstanceFleetID 用の Amazon EMR クラスター ClusterId
(ClusterName) を作成できません。Amazon EC2 でインスタンスタイプ [Instancetype1, Instancetype2] のスポット容量が不足し、アベイラビリティーゾーン [Instancetype3,
Instancetype4] でインスタンスタイプ [AvailabilityZone1,
AvaliabilityZone2] のオンデマンド容量が不足しています。このイベントへの対応方法の詳細については、こちらのドキュメントを確認してください。 |
CREATING |
WARN |
Amazon EMR インスタンスグループのプロビジョニング | EC2 provisioning - Insufficient Instance Capacity | インスタンスグループ InstancegroupID 用の Amazon EMR クラスター ClusterId
(ClusterName) を作成できません。Amazon EC2 でアベイラビリティーゾーン AvailabilityZone のインスタンスタイプ Instancetype の [Spot or On-Demand] 容量が不足しています。このイベントへの対応方法の詳細については、こちらのドキュメントを確認してください。 |
STARTING
|
INFO
|
EMR クラスターの状態の変更 |
なし |
Amazon EMR クラスター |
STARTING
|
INFO
|
EMR クラスターの状態の変更 |
なし |
注記インスタンスフリートが構成されており、Amazon EC2 内で複数のアベイラビリティーゾーンが選択されているクラスターのみに適用されます。 Amazon EMR クラスター |
STARTING
|
INFO
|
EMR クラスターの状態の変更 |
なし |
Amazon EMR クラスター |
WAITING
|
INFO
|
EMR クラスターの状態の変更 |
なし |
Amazon EMR クラスター ~ または ~ Amazon EMR クラスター 注記
|
注記
イベントコード EC2 provisioning - Insufficient Instance
Capacity
のイベントは、EMR クラスターでクラスターの作成またはサイズ変更操作中に、Amazon EC2 からインスタンスフリートやインスタンスグループの容量不足エラーが発生した場合に定期的に発行されます。これらのイベントへの対応方法の詳細については、「Amazon EMR クラスターのインスタンス容量不足のイベントに対応する」を参照してください。
クラスター終了のイベント
状態や状態の変化 | 緊急度 | イベントタイプ | イベントコード | Message |
---|---|---|---|---|
TERMINATED
|
重大度は次に示す状態変更の理由によって異なります。
|
EMR クラスターの状態の変更 |
なし |
Amazon EMR クラスター |
TERMINATED_WITH_ERRORS
|
CRITICAL
|
EMR クラスターの状態の変更 |
なし |
Amazon EMR クラスター |
インスタンスフリートの状態変更イベント
注記
インスタンスフリート設定は、5.0.0 および 5.0.3 を除く Amazon EMR リリース 4.8.0 以降でのみ使用できます。
状態や状態の変化 | 緊急度 | イベントタイプ | イベントコード | Message |
---|---|---|---|---|
|
INFO
|
なし | Amazon EMR クラスター |
|
|
INFO
|
なし | Amazon EMR クラスター |
|
|
INFO
|
なし | Amazon EMR クラスター |
|
|
INFO
|
なし | Amazon EMR クラスター |
|
SUSPENDED
|
ERROR
|
なし | Amazon EMR クラスター |
|
RESIZING
|
WARNING
|
なし | Amazon EMR クラスター |
|
|
INFO
|
なし | Amazon EMR クラスター |
|
|
INFO
|
なし | Amazon EMR クラスター |
インスタンスフリートのサイズ変更のイベント
イベントタイプ | 緊急度 | イベントコード | Message |
---|---|---|---|
Amazon EMR インスタンスフリートのサイズ変更 |
ERROR |
Spot Provisioning timeout |
Amazon EMR クラスター |
Amazon EMR インスタンスフリートのサイズ変更 |
ERROR |
On-Demand Provisioning timeout |
Amazon EMR クラスター |
Amazon EMR インスタンスフリートのサイズ変更 |
WARNING |
EC2 provisioning - Insufficient Instance Capacity | EMR クラスター |
Amazon EMR インスタンスフリートのサイズ変更 |
WARNING |
Spot Provisioning Timeout - Continuing Resize |
AZ |
Amazon EMR インスタンスフリートのサイズ変更 |
WARNING |
On-Demand Provisioning Timeout - Continuing Resize |
AZ |
注記
プロビジョニングのタイムアウトイベントは、タイムアウト時間が過ぎた後に Amazon EMR がフリートのスポット容量またはオンデマンド容量のプロビジョニングを停止した場合に発生します。これらのイベントへの対応方法の詳細については、「Amazon EMR クラスターのインスタンスフリートのサイズ変更タイムアウトイベントに対応する」を参照してください。
インスタンスグループのイベント
イベントタイプ | 緊急度 | イベントコード | Message |
---|---|---|---|
|
INFO
|
なし | Amazon EMR クラスター |
|
INFO
|
なし | Amazon EMR クラスター |
SUSPENDED
|
ERROR
|
なし | Amazon EMR クラスター |
RESIZING
|
WARNING
|
なし | Amazon EMR クラスター |
Amazon EMR インスタンスグループのサイズ変更 |
WARNING |
EC2 provisioning - Insufficient Instance Capacity | Amazon EC2 でアベイラビリティーゾーン |
|
INFO
|
なし | Amazon EMR クラスター |
注記
Amazon EMR バージョン 5.21.0 以降では、実行中のクラスター内のインスタンスグループごとに、クラスター設定を上書きして追加の設定分類を指定できます。これを行うには、Amazon EMR コンソール、AWS Command Line Interface (AWS CLI)、または AWS SDK を使用します。詳細については、「実行中のクラスターのインスタンスグループの設定を指定する」を参照してください。
Amazon EMR の再設定オペレーションのイベントを、イベントが示す状態や状態の変化、イベントの重大度、およびイベントメッセージとともに次の表に示します。
状態や状態の変化 | 緊急度 | Message |
---|---|---|
RUNNING
|
INFO
|
Amazon EMR クラスター |
|
INFO
|
Amazon EMR クラスター |
|
INFO
|
Amazon EMR クラスター |
RESIZING
|
INFO
|
Amazon EMR クラスター |
RECONFIGURING
|
INFO
|
Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID のインスタンス数 Num に対するサイズ変更操作は、インスタンスグループが State であるため、Time に一時的にブロックされます。 |
RECONFIGURING
|
WARNING
|
Amazon EMR クラスター |
RECONFIGURING
|
INFO
|
Amazon EMR クラスター |
|
INFO
|
Amazon EMR クラスター |
|
CRITICAL
|
Amazon EMR クラスター |
自動スケーリングポリシーのイベント
状態や状態の変化 | 緊急度 | Message |
---|---|---|
PENDING
|
INFO
|
自動スケーリングポリシーは、Amazon EMR クラスター ~ または ~ Amazon EMR クラスター |
ATTACHED
|
INFO
|
Amazon EMR クラスター |
|
INFO
|
Amazon EMR クラスター |
FAILED
|
ERROR
|
Amazon EMR クラスター ~ または ~ Amazon EMR クラスター |
ステップイベント
状態や状態の変化 | 緊急度 | Message |
---|---|---|
PENDING
|
INFO
|
ステップ |
CANCEL_PENDING
|
WARN
|
Amazon EMR クラスター |
RUNNING
|
INFO
|
Amazon EMR クラスター |
COMPLETED
|
INFO
|
Amazon EMR クラスター |
CANCELLED
|
WARN
|
Amazon EMR クラスター |
FAILED
|
ERROR
|
Amazon EMR クラスター |
Amazon EMR コンソールを使用してイベントを表示する
各クラスターについて、イベントの簡単なリストを詳細ペインに表示できます。これは発生の降順にイベントを表示します。また、リージョンでのすべてのクラスターのすべてのイベントを、発生の降順に表示することもできます。
ユーザーにリージョンでのすべてのクラスターのイベントを表示しないようにするには、"Effect": "Deny"
アクションのアクセス権限を拒否するステートメント (elasticmapreduce:ViewEventsFromAllClustersInConsole
) を、ユーザーにアタッチされているポリシーに追加します。
注記
Amazon EMR コンソールは、再設計され、使いやすくなりました。古いコンソールと新しいコンソールエクスペリエンスの違いについては、「コンソールの新機能」を参照してください。