CloudWatch で Amazon EMR のイベントをモニタリングする

Amazon EMR はイベントを追跡し、最大 7 日間、そのイベントに関する情報を Amazon EMR コンソールで保持します。Amazon EMR は、クラスター、インスタンスグループ、インスタンスフリート、自動スケーリングポリシー、またはステップの状態に変化があった場合にイベントを記録します。イベントは、イベントの発生日時、影響を受けた要素の詳細、その他の重要なデータポイントを取得します。

次の表は、Amazon EMR のイベントを、イベントが示す状態や状態の変化、イベントの重大度、イベントタイプ、イベントコード、およびイベントメッセージと共にリストしたものです。Amazon EMR はイベントを JSON オブジェクトで表し、自動的にイベントストリームに送信します。JSON オブジェクトは、CloudWatch Events を使用してイベント処理のルールを設定する場合に重要です。ルールでは JSON オブジェクトでパターンのマッチングが行われるからです。詳細については、「Amazon CloudWatch Events ユーザーガイド」の「イベントとイベントパターン」および「Amazon EMR イベント」を参照してください。

注記

最も適切な情報を提供できるよう、エラーメッセージは継続的に改善されています。そのため、ワークフローの次のアクションを開始するためにメッセージのテキストを解析しないようにすることをお勧めします。

クラスター起動のイベント

状態や状態の変化	緊急度	イベントタイプ	イベントコード	Message
CREATING	WARN	Amazon EMR インスタンスフリートのプロビジョニング	EC2 provisioning - Insufficient Instance Capacity	インスタンスフリート InstanceFleetID 用の Amazon EMR クラスター ClusterId (ClusterName) を作成できません。Amazon EC2 でインスタンスタイプ [Instancetype1, Instancetype2] のスポット容量が不足し、アベイラビリティーゾーン [Instancetype3, Instancetype4] でインスタンスタイプ [AvailabilityZone1, AvaliabilityZone2] のオンデマンド容量が不足しています。このイベントへの対応方法の詳細については、こちらのドキュメントを確認してください。
CREATING	WARN	Amazon EMR インスタンスグループのプロビジョニング	EC2 provisioning - Insufficient Instance Capacity	インスタンスグループ InstancegroupID 用の Amazon EMR クラスター ClusterId (ClusterName) を作成できません。Amazon EC2 でアベイラビリティーゾーン AvailabilityZone のインスタンスタイプ Instancetype の [Spot or On-Demand] 容量が不足しています。このイベントへの対応方法の詳細については、こちらのドキュメントを確認してください。
STARTING	INFO	EMR クラスターの状態の変更	なし	Amazon EMR クラスター ClusterId (ClusterName) は Time にリクエストされ、作成中です。
STARTING	INFO	EMR クラスターの状態の変更	なし	注記 インスタンスフリートが構成されており、Amazon EC2 内で複数のアベイラビリティーゾーンが選択されているクラスターのみに適用されます。 Amazon EMR クラスター ClusterId (ClusterName) は、指定したアベイラビリティーゾーンオプションから選択されたアベイラビリティーゾーン (AvailabilityZoneID) で作成中です。
STARTING	INFO	EMR クラスターの状態の変更	なし	Amazon EMR クラスター ClusterId (ClusterName) は Time にステップの実行を開始しました。
WAITING	INFO	EMR クラスターの状態の変更	なし	Amazon EMR クラスター ClusterId (ClusterName) は Time に作成され、使用する準備ができています。 ～ または ～ Amazon EMR クラスター ClusterId (ClusterName) は Time に保留中のすべてのステップの処理を完了しました。 注記 WAITING 状態のクラスターは、引き続きジョブを処理している可能性があります。

注記

イベントコード EC2 provisioning - Insufficient Instance Capacity のイベントは、EMR クラスターでクラスターの作成またはサイズ変更操作中に、Amazon EC2 からインスタンスフリートやインスタンスグループの容量不足エラーが発生した場合に定期的に発行されます。これらのイベントへの対応方法の詳細については、「Amazon EMR クラスターのインスタンス容量不足のイベントに対応する」を参照してください。

クラスター終了のイベント

状態や状態の変化	緊急度	イベントタイプ	イベントコード	Message
TERMINATED	重大度は次に示す状態変更の理由によって異なります。 CRITICAL クラスターが次に示す状態変更の理由のいずれかによって終了した場合: INTERNAL_ERROR、VALIDATION_ERROR、INSTANCE_FAILURE、BOOTSTRAP_FAILURE、STEP_FAILURE。 INFO クラスターが次に示す状態変更の理由のいずれかによって終了した場合: USER_REQUEST または ALL_STEPS_COMPLETED。	EMR クラスターの状態の変更	なし	Amazon EMR クラスター ClusterId (ClusterName) は、Time に StateChangeReason:Code の理由で終了しました。
TERMINATED_WITH_ERRORS	CRITICAL	EMR クラスターの状態の変更	なし	Amazon EMR クラスター ClusterId (ClusterName) は、Time に StateChangeReason:Code の理由でエラーが発生して終了しました。

インスタンスフリートの状態変更イベント

注記

インスタンスフリート設定は、5.0.0 および 5.0.3 を除く Amazon EMR リリース 4.8.0 以降でのみ使用できます。

状態や状態の変化	緊急度	イベントタイプ	イベントコード	Message
PROVISIONING から WAITING へ	INFO		なし	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスフリート InstanceFleetID のプロビジョニングが完了しました。プロビジョニングは Time に開始され、Num 分かかりました。インスタンスフリートには、Num のオンデマンド容量があり、Num のスポット容量があります。ターゲットのオンデマンド容量は Num で、ターゲットのスポット容量は Num でした。
WAITING から RESIZING へ	INFO		なし	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスフリート InstanceFleetID のサイズ変更は、Time に開始されました。インスタンスフリートは、オンデマンド容量 Num からターゲットの Num へ、スポット容量 Num からターゲットの Num へサイズ変更されています。
RESIZING から WAITING へ	INFO		なし	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスフリート InstanceFleetID のサイズ変更操作が完了しました。サイズ変更は Time に開始し、Num 分かかりました。インスタンスフリートには、Num のオンデマンド容量があり、Num のスポット容量があります。ターゲットのオンデマンド容量は Num で、ターゲットのスポット容量は Num でした。
RESIZING から WAITING へ	INFO		なし	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスフリート InstanceFleetID のサイズ変更操作がタイムアウトになり、停止しました。サイズ変更は Time に開始し、Num 分後に停止しました。インスタンスフリートには、Num のオンデマンド容量があり、Num のスポット容量があります。ターゲットのオンデマンド容量は Num で、ターゲットのスポット容量は Num でした。
SUSPENDED	ERROR		なし	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスフリート InstanceFleetID は、Time に ReasonDesc の理由で停止されました。
RESIZING	WARNING		なし	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスフリート InstanceFleetID のサイズ変更操作は、ReasonDesc の理由で進行していません。
WAITING、または Running	INFO		なし	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスフリート InstanceFleetID のサイズ変更操作は、Amazon EMR がアベイラビリティーゾーン AvailabilityZone にスポット容量を追加している間に完了できませんでした。スポット容量の追加プロビジョニングのリクエストをキャンセルしました。推奨アクションについては「インスタンスとアベイラビリティーゾーンの柔軟性に関するベストプラクティス」を確認し、もう一度試してください。
WAITING、または Running	INFO		なし	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスフリート InstanceFleetID のサイズ変更操作は、Entity によって Time に開始されました。

インスタンスフリートのサイズ変更のイベント

イベントタイプ	緊急度	イベントコード	Message
Amazon EMR インスタンスフリートのサイズ変更	ERROR	Spot Provisioning timeout	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスフリート InstanceFleetID のサイズ変更操作は、AZ AvailabilityZone でのスポット容量の取得中に完了できませんでした。リクエストをキャンセルし、追加のスポット容量のプロビジョニングを中止しました。インスタンスフリートはスポット容量 num をプロビジョニングしました。ターゲットのスポット容量は num でした。詳細と推奨アクションについてはこちらのドキュメントページを確認し、もう一度試してください。
Amazon EMR インスタンスフリートのサイズ変更	ERROR	On-Demand Provisioning timeout	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスフリート InstanceFleetID のサイズ変更操作は、AZ AvailabilityZone でのオンデマンド容量の取得中に完了できませんでした。リクエストをキャンセルし、追加のオンデマンド容量のプロビジョニングを中止しました。インスタンスフリートはオンデマンド容量 num をプロビジョニングしました。ターゲットのオンデマンド容量は num でした。詳細と推奨アクションについてはこちらのドキュメントページを確認し、もう一度試してください。
Amazon EMR インスタンスフリートのサイズ変更	WARNING	EC2 provisioning - Insufficient Instance Capacity	EMR クラスター ClusterId (ClusterName) 内のインスタンスフリート InstanceFleetID のサイズ変更操作を完了できません。Amazon EC2 でインスタンスタイプ [Instancetype1, Instancetype2] のスポット容量が不足し、アベイラビリティーゾーン [Instancetype3, Instancetype4] でインスタンスタイプ [AvailabilityZone1] のオンデマンド容量が不足しています。現在、インスタンスフリートは num のオンデマンド容量をプロビジョニング済みで、ターゲットのオンデマンド容量は num でした。プロビジョニング済みのスポット容量は num で、ターゲットのスポット容量は num でした。このイベントへの対応方法の詳細については、こちらのドキュメントを確認してください。
Amazon EMR インスタンスフリートのサイズ変更	WARNING	Spot Provisioning Timeout - Continuing Resize	AZ AvailabilityZone の [Instancetype1, Instancetype2] の Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスフリート ID InstanceFleetID に対して time に開始されたインスタンスフリートのサイズ変更操作で、スポット容量を引き続きプロビジョニングしています。time に開始された前回のサイズ変更操作では、タイムアウト期間が終了したため、Amazon EMR はリクエストされた num 個のインスタンスのうち num 個をインスタンスフリートに追加した後、スポット容量のプロビジョニングを停止しました。詳細については、こちらのドキュメントページを確認してください。
Amazon EMR インスタンスフリートのサイズ変更	WARNING	On-Demand Provisioning Timeout - Continuing Resize	AZ AvailabilityZone の [Instancetype1, Instancetype2] の Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスフリート ID InstanceFleetID に対して time に開始されたインスタンスフリートのサイズ変更操作で、オンデマンド容量を引き続きプロビジョニングしています。time に開始された前回のサイズ変更操作では、タイムアウト期間が終了したため、Amazon EMR はリクエストされた num 個のインスタンスのうち num 個をインスタンスフリートに追加した後、オンデマンド容量のプロビジョニングを停止しました。詳細については、こちらのドキュメントページを確認してください。

注記

プロビジョニングのタイムアウトイベントは、タイムアウト時間が過ぎた後に Amazon EMR がフリートのスポット容量またはオンデマンド容量のプロビジョニングを停止した場合に発生します。これらのイベントへの対応方法の詳細については、「Amazon EMR クラスターのインスタンスフリートのサイズ変更タイムアウトイベントに対応する」を参照してください。

インスタンスグループのイベント

イベントタイプ	緊急度	イベントコード	Message
RESIZING から Running へ	INFO	なし	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID のサイズ変更操作は完了しました。これで Num 個のインスタンスがあります。サイズ変更は Time に開始され、完了するまでに Num 分かかりました。
RUNNING から RESIZING へ	INFO	なし	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID のサイズ変更は、Time に開始されました。インスタンス数 Num 個から Num 個にサイズ変更をしています。
SUSPENDED	ERROR	なし	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID は、Time に ReasonDesc の理由で停止されました。
RESIZING	WARNING	なし	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID のサイズ変更操作は、ReasonDesc の理由で進行していません。
Amazon EMR インスタンスグループのサイズ変更	WARNING	EC2 provisioning - Insufficient Instance Capacity	Amazon EC2 でアベイラビリティーゾーン [AvailabilityZone1] のインスタンスタイプ [Instancetype] の Spot/On Demand 容量が不足しているため、EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID で time に開始したサイズ変更操作を完了できません。現在、インスタンスグループの実行インスタンス数は num で、リクエストされたインスタンス数は num でした。このイベントへの対応方法の詳細については、こちらのドキュメントを確認してください。
RUNNING から RESIZING へ	INFO	なし	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID のサイズ変更は、Entity によって Time に開始されました。

注記

Amazon EMR バージョン 5.21.0 以降では、実行中のクラスター内のインスタンスグループごとに、クラスター設定を上書きして追加の設定分類を指定できます。これを行うには、Amazon EMR コンソール、AWS Command Line Interface (AWS CLI)、または AWS SDK を使用します。詳細については、「実行中のクラスターのインスタンスグループの設定を指定する」を参照してください。

Amazon EMR の再設定オペレーションのイベントを、イベントが示す状態や状態の変化、イベントの重大度、およびイベントメッセージとともに次の表に示します。

状態や状態の変化	緊急度	Message
RUNNING	INFO	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID の再設定は、ユーザーによって Time に開始されました。リクエストされた設定のバージョンは、Num です。
RECONFIGURING から Running へ	INFO	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID の再設定操作は完了しました。再設定は Time に開始され、完了まで Num 分かかりました。現在の設定のバージョンは Num です。
RUNNING から RECONFIGURING へ in	INFO	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID の再設定は、Time に開始されました。バージョン番号 Num からバージョン番号 Num に設定されます。
RESIZING	INFO	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID の設定バージョン Num に対する再設定操作は、インスタンスグループが State であるため、Time に一時的にブロックされます。
RECONFIGURING	INFO	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID のインスタンス数 Num に対するサイズ変更操作は、インスタンスグループが State であるため、Time に一時的にブロックされます。
RECONFIGURING	WARNING	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID の再設定操作は、Time に失敗し、失敗までに Num 分間かかりました。失敗した設定のバージョンは Num です。
RECONFIGURING	INFO	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID の設定を前に正常に稼働していたバージョン番号 Num に戻す操作は、Time に実行されます。新しい設定バージョンは Num です。
RECONFIGURING から Running へ	INFO	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID の設定を前に正常に稼働していたバージョン Num に戻す操作は、Time に正常に終了しました。新しい設定バージョンは Num です。
RECONFIGURING から SUSPENDED へ	CRITICAL	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID の設定を前に正常に稼働していたバージョン Num に戻す操作は、Time に失敗しました。

自動スケーリングポリシーのイベント

状態や状態の変化	緊急度	Message
PENDING	INFO	自動スケーリングポリシーは、Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID に Time に追加されました。ポリシーはアタッチメントを保留しています。 ～ または ～ Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID の自動スケーリングポリシーは、Time に更新されました。ポリシーはアタッチメントを保留しています。
ATTACHED	INFO	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID の自動スケーリングポリシーは、Time にアタッチされました。
DETACHED	INFO	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID の自動スケーリングポリシーは、Time にデタッチされました。
FAILED	ERROR	Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID の自動スケーリングポリシーは、アタッチできず、Time に失敗しました。 ～ または ～ Amazon EMR クラスター ClusterId (ClusterName) 内のインスタンスグループ InstanceGroupID の自動スケーリングポリシーは、デタッチできず、Time に失敗しました。

ステップイベント

状態や状態の変化	緊急度	Message
PENDING	INFO	ステップ StepID (StepName) は Amazon EMR クラスター ClusterId (ClusterName) に Time に追加され、実行待ちです。
CANCEL_PENDING	WARN	Amazon EMR クラスター ClusterId (ClusterName) のステップ StepID (StepName) は Time にキャンセルされ、キャンセル待ちです。
RUNNING	INFO	Amazon EMR クラスター ClusterId (ClusterName) のステップ StepID (StepName) は Time に実行を開始しました。
COMPLETED	INFO	Amazon EMR クラスター ClusterId (ClusterName) のステップ StepID (StepName) は Time に実行を完了しました。ステップの実行は Time に開始され、完了するまでに Num 分かかりました。
CANCELLED	WARN	Amazon EMR クラスター ClusterId (ClusterName) 内のクラスターステップ StepID (StepName) に対するキャンセルリクエストは、Time に正常終了し、ステップがキャンセルされました。
FAILED	ERROR	Amazon EMR クラスター ClusterId (ClusterName) のステップ StepID (StepName) は Time に失敗しました。

Amazon EMR コンソールを使用してイベントを表示する

各クラスターについて、イベントの簡単なリストを詳細ペインに表示できます。これは発生の降順にイベントを表示します。また、リージョンでのすべてのクラスターのすべてのイベントを、発生の降順に表示することもできます。

ユーザーにリージョンでのすべてのクラスターのイベントを表示しないようにするには、"Effect": "Deny" アクションのアクセス権限を拒否するステートメント (elasticmapreduce:ViewEventsFromAllClustersInConsole) を、ユーザーにアタッチされているポリシーに追加します。

注記

Amazon EMR コンソールは、再設計され、使いやすくなりました。古いコンソールと新しいコンソールエクスペリエンスの違いについては、「コンソールの新機能」を参照してください。

New console

新しいコンソールを使用して、リージョン内のすべてのクラスターのイベントを表示するには

1. AWS Management Consoleにサインインし、Amazon EMR コンソール (https://console.aws.amazon.com/emr) を開きます。

2. 左側のナビゲーションペインの [EMR on EC2] で [イベント] を選択します。

新しいコンソールを使用して特定のクラスターのイベントを表示するには

1. AWS Management Consoleにサインインし、Amazon EMR コンソール (https://console.aws.amazon.com/emr) を開きます。

2. 左側のナビゲーションペインの [EMR on EC2] で、[クラスター] を選択し、クラスターを選択します。

3. すべてのイベントを表示するには、クラスターの詳細ページの [イベント] タブを選択します。

Old console

古いコンソールを使用して、リージョン内のすべてのクラスターのイベントを表示するには

1. Amazon EMR コンソール (https://console.aws.amazon.com/elasticmapreduce/) を開きます。

2. [Events] を選択します。

古いコンソールを使用して特定のクラスターのイベントを表示するには

1. Amazon EMR コンソール (https://console.aws.amazon.com/elasticmapreduce/) を開きます。

2. [Cluster List] を選択し、クラスターを選択してから、[View details] を選択します。

3. クラスター詳細ペインで、[Events] を選択します。