Überwachung von Amazon-EMR-Ereignissen mit CloudWatch
Amazon EMR verfolgt Ereignisse und speichert die Informationen für bis zu sieben Tage. Amazon EMR zeichnet Ereignisse auf, wenn sich der Status von Clustern, Instance-Gruppen, Instance-Flotten, automatischen Skalierungsrichtlinien oder Schritten ändert. Ereignisse erfassen Datum und Uhrzeit des Ereignisses, Details zu den betroffenen Elementen und andere wichtige Datenpunkte.
In der folgenden Tabelle sind Amazon-EMR-Ereignisse aufgeführt, zusammen mit dem Status oder der Statusänderung, die das Ereignis anzeigt, dem Schweregrad des Ereignisses, dem Ereignistyp, dem Ereigniscode und den Ereignismeldungen. Amazon EMR stellt Ereignisse als JSON-Objekte dar und sendet sie automatisch an einen Event-Stream. Das JSON-Objekt ist wichtig, wenn Sie für die Verarbeitung von Ereignissen Regeln mit CloudWatch Events festlegen, da die Regeln versuchen, den Mustern im JSON-Objekt zu entsprechen. Weitere Informationen finden Sie unter Ereignisse und Ereignismuster sowie Amazon-EMR-Ereignisse im Amazon-CloudWatch-Events-Benutzerhandbuch.
Anmerkung
Um sicherzustellen, dass wir Ihnen die relevantesten Informationen zur Verfügung stellen, verfeinern wir unsere Fehlermeldungen kontinuierlich. Aus diesem Grund wird empfohlen, dass Sie den Text der Nachrichten nicht analysieren, um die nächsten Aktionen in Ihrem Workflow einzuleiten.
Cluster-Startereignisse
Status oder Statusänderung | Schweregrad | Ereignistyp | Ereigniscode | Fehlermeldung |
---|---|---|---|---|
CREATING |
WARN |
Bereitstellung von Amazon-EMR-Instance-Flotten | EC2-Bereitstellung – Unzureichende Instance-Kapazität | Wir können Ihren Amazon-EMR-Cluster ClusterId
(ClusterName) für die Instance-Flotte nicht erstellen. InstanceFleetID Amazon EC2 hat nicht genügend Spot-Kapazität für den Instance-Typ [Instancetype1, Instancetype2] und nicht genügend On-Demand-Kapazität für den Instance-Typ [Instancetype3,
Instancetype4] in der Availability Zone [AvailabilityZone1,
AvaliabilityZone2] . Weitere Informationen darüber, wie Sie auf dieses Ereignis reagieren können, finden Sie in der Dokumentation. |
CREATING |
WARN |
Bereitstellung von Amazon-EMR-Instance-Gruppen | EC2-Bereitstellung – Unzureichende Instance-Kapazität | Wir können Ihren Amazon-EMR-Cluster ClusterId
(ClusterName) für die Instance-Gruppe nicht erstellen. InstancegroupID Amazon EC2 hat nicht genügend [Spot or On-Demand] -Kapazität für den Instance-Typ Instancetype in der Availability Zone AvailabilityZone . Weitere Informationen darüber, wie Sie auf dieses Ereignis reagieren können, finden Sie in der Dokumentation. |
STARTING
|
INFO
|
Änderung des EMR-Cluster-Zustands |
Keine |
Der Amazon-EMR-Cluster |
STARTING
|
INFO
|
Änderung des EMR-Cluster-Zustands |
Keine |
AnmerkungGilt nur für Cluster mit der Instance-Flottenkonfiguration und mehreren Availability Zones, die innerhalb Amazon EC2 ausgewählt wurden. Der Amazon-EMR-Cluster |
STARTING
|
INFO
|
Änderung des EMR-Cluster-Zustands |
Keine |
Der Amazon-EMR-Cluster |
WAITING
|
INFO
|
Änderung des EMR-Cluster-Zustands |
Keine |
Der Amazon-EMR-Cluster – oder – Der Amazon-EMR-Cluster AnmerkungEin Cluster im |
Anmerkung
Die Ereignisse mit dem Ereigniscode EC2 provisioning - Insufficient Instance
Capacity
werden regelmäßig ausgelöst, wenn Ihr EMR-Cluster während der Cluster-Erstellung oder Größenänderung auf einen Kapazitätsfehler von Amazon EC2 für Ihre Instance-Flotte oder Instance-Gruppe stößt. Weitere Informationen zum Umgang mit diesen Ereignissen finden Sie unter Reaktion auf Ereignisse mit unzureichender Instance-Kapazität im Amazon-EMR-Cluster.
Cluster-Abbruchsereignisse
Status oder Statusänderung | Schweregrad | Ereignistyp | Ereigniscode | Fehlermeldung |
---|---|---|---|---|
TERMINATED
|
Der Schweregrad ist abhängig vom Grund für die Statusänderung, wie nachfolgend dargestellt:
|
Änderung des EMR-Cluster-Zustands |
Keine |
Amazon EMR Cluster |
TERMINATED_WITH_ERRORS
|
CRITICAL
|
Änderung des EMR-Cluster-Zustands |
Keine |
Amazon EMR Cluster |
Ereignisse zur Änderung des Status der Instance-Flotte
Anmerkung
Die Konfiguration der Instance-Flotten ist nur in den Amazon-EMR-Versionen 4.8.0 und höher verfügbar, mit Ausnahme von 5.0.0 und 5.0.3.
Status oder Statusänderung | Schweregrad | Ereignistyp | Ereigniscode | Fehlermeldung |
---|---|---|---|---|
Von |
INFO
|
Keine | Bereitstellung für die Instance-Flotte |
|
Von |
INFO
|
Keine | Die Größenänderung für Instance-Flotte |
|
Von |
INFO
|
Keine | Die Größenänderung für die Instance-Flotte |
|
Von |
INFO
|
Keine | Die Größenänderung der Instance-Flotte |
|
SUSPENDED
|
ERROR
|
Keine | Die Instance-Flotte |
|
RESIZING
|
WARNING
|
Keine | Die Größenänderung für die Instance-Flotte |
|
|
INFO
|
Keine | Die Größenänderung für die Instance-Flotte |
|
|
INFO
|
Keine | Eine Größenänderung für beispielsweise eine Flotte |
Ereignisse zur Änderung der Größe der Instance-Flotte
Ereignistyp | Schweregrad | Ereigniscode | Fehlermeldung |
---|---|---|---|
Größe der Amazon-EMR-Instance-Flotte ändern |
ERROR |
Spot-Provisioning-Timeout |
Der Vorgang zur Größenänderung für die Instance-Flotte |
Größe der Amazon-EMR-Instance-Flotte ändern |
ERROR |
Timeout für die On-Demand-Bereitstellung |
Der Vorgang zur Größenänderung für die Instance-Flotte |
Größe der Amazon-EMR-Instance-Flotte ändern |
WARNING |
EC2-Bereitstellung – Unzureichende Instance-Kapazität | Wir können den Größenänderungsvorgang für die Instance-Flotte |
Größe der Amazon-EMR-Instance-Flotte ändern |
WARNING |
Zeitlimit für Spot-Bereitstellung – Fortsetzung der Größenänderung |
Wir stellen immer noch Spot-Kapazität für den Vorgang zur Größenänderung der Instance-Flotte bereit, der mit der |
Größe der Amazon-EMR-Instance-Flotte ändern |
WARNING |
Timeout für On-Demand-Bereitstellung – Fortsetzung der Größenänderung |
Wir stellen weiterhin On-Demand-Kapazität für den Vorgang zur Größenänderung der Instance-Flotte bereit, der mit der |
Anmerkung
Die Timeout-Ereignisse für die Bereitstellung werden ausgelöst, wenn Amazon EMR die Bereitstellung von Spot- oder On-Demand-Kapazität für die Flotte nach Ablauf des Timeouts beendet. Weitere Informationen zum Umgang mit diesen Ereignissen finden Sie unter Reaktion auf Timeout-Ereignisse zur Größenänderung der Amazon-EMR-Cluster-Instance-Flotte.
Instance-Gruppen-Ereignisse
Ereignistyp | Schweregrad | Ereigniscode | Fehlermeldung |
---|---|---|---|
Von |
INFO
|
Keine | Die Größenänderung für die Instance-Gruppe |
Von |
INFO
|
Keine | Eine Größenänderung für die Instance-Gruppe |
SUSPENDED
|
ERROR
|
Keine | Die Instance-Gruppe |
RESIZING
|
WARNING
|
Keine | Die Größenänderung für die Instance-Gruppe |
Größe der Amazon-EMR-Instance-Gruppe ändern |
WARNING |
EC2-Bereitstellung – Unzureichende Instance-Kapazität | Wir können den Größenänderungsvorgang, der bei |
Von |
INFO
|
Keine | Eine Größenänderung für die Instance-Gruppe |
Anmerkung
Ab Amazon-EMR-Version 5.21.0 können Sie Cluster-Konfigurationen überschreiben und zusätzliche Konfigurationsklassifikationen für jede Instance-Gruppe in einem ausgeführten Cluster angeben. Dies erfolgt über die Amazon-EMR-Konsole, die AWS Command Line Interface (AWS CLI) oder das AWS SDK. Weitere Informationen finden Sie unter Angeben einer Konfiguration für eine Instance-Gruppe in einem aktiven Cluster.
In der folgenden Tabelle sind die Amazon-EMR-Ereignisse für den Rekonfigurationsvorgang aufgeführt, zusammen mit dem Zustand oder der Zustandsänderung, die das Ereignis anzeigt, dem Schweregrad des Ereignisses und den Ereignismeldungen.
Status oder Statusänderung | Schweregrad | Fehlermeldung |
---|---|---|
RUNNING
|
INFO
|
Eine Neukonfiguration für die Instancegruppe |
Von |
INFO
|
Der Neukonfigurationsvorgang für die Instance-Gruppe |
Von |
INFO
|
Eine Neukonfiguration für die Instancegruppe |
RESIZING
|
INFO
|
Die Rekonfigurationsoperation auf Konfigurationsversion |
RECONFIGURING
|
INFO
|
Die Größenänderungsoperation auf Instance-Anzahl Num für die Instance-Gruppe InstanceGroupID im Amazon-EMR-Cluster ClusterId (ClusterName) wurde vorübergehend auf Time gesperrt, da die Instance-Gruppe sich in State befindet. |
RECONFIGURING
|
WARNING
|
Die Rekonfigurationsoperation für die Instance-Gruppe |
RECONFIGURING
|
INFO
|
Konfigurationen werden in der zuvor funktionierenden Version |
Von |
INFO
|
Konfigurationen wurden in der zuvor funktionierenden Version |
Von |
CRITICAL
|
Fehler beim Zurücksetzen auf die vorherige erfolgreiche Version |
Auto-Scaling-Richtlinienereignisse
Status oder Statusänderung | Schweregrad | Fehlermeldung |
---|---|---|
PENDING
|
INFO
|
Der Instancegruppe – oder – Die Auto Scaling-Richtlinie für die Instance-Gruppe |
ATTACHED
|
INFO
|
Die Auto Scaling-Richtlinie für die Instance-Gruppe |
|
INFO
|
Die Auto Scaling-Richtlinie für die Instance-Gruppe |
FAILED
|
ERROR
|
Die Auto Scaling-Richtlinie für die Instance-Gruppe – oder – Die Auto Scaling-Richtlinie für die Instance-Gruppe |
Schritt-Ereignisse
Status oder Statusänderung | Schweregrad | Fehlermeldung |
---|---|---|
PENDING
|
INFO
|
Der Schritt |
CANCEL_PENDING
|
WARN
|
Der Schritt |
RUNNING
|
INFO
|
Schritt |
COMPLETED
|
INFO
|
Die Ausführung des Schritts |
CANCELLED
|
WARN
|
Die Abbruchsaufforderung war für den Cluster-Schritt |
FAILED
|
ERROR
|
Der Schritt |
Ereignisse mit der Amazon-EMR-Konsole anzeigen
Für jeden Cluster können Sie eine einfache Liste der Ereignisse im Detailbereich anzeigen, der die Ereignisse in der Reihenfolge ihres Auftretens auflistet. Sie können auch alle Ereignisse für alle Cluster in einer Region in absteigender Reihenfolge ihres Auftretens anzeigen.
Wenn Sie nicht möchten, dass ein Benutzer alle Cluster-Ereignisse für eine Region sehen kann, erstellen Sie eine Anweisung, die die Berechtigung ("Effect": "Deny"
) für die Aktion elasticmapreduce:ViewEventsFromAllClustersInConsole
ablehnt. Fügen Sie diese Anweisung einer Richtlinie hinzu, die dem Benutzer zugeordnet ist.
Anmerkung
Wir haben die Amazon-EMR-Konsole neu gestaltet, um sie benutzerfreundlicher zu gestalten. Unter Was ist neu an der Konsole? erfahren Sie mehr über die Unterschiede zwischen der alten und der neuen Konsolenerfahrung.