Surveillance des événements Amazon EMR avec CloudWatch

Amazon EMR surveille les événements et conserve les informations les concernant pendant sept jours maximum dans la console Amazon EMR. Amazon EMR enregistre les événements en cas de modification de l'état des clusters, des groupes d'instances, des flottes d'instances, des politiques de mise à l'échelle automatique ou des étapes. Les événements enregistrent la date et l'heure auxquelles l'événement s'est produit, des détails sur les éléments concernés et d'autres points de données critiques.

Le tableau suivant répertorie les événements Amazon EMR sur EKS en indiquant l'état ou la modification d'état rattachée à chaque événement, sa gravité, son type, son code ainsi que les messages correspondants. Amazon EMR représente les événements sous forme d'objets JSON et les envoie automatiquement vers un flux d'événements. L'objet JSON est important lorsque vous configurez des règles pour le traitement des événements à l'aide d' CloudWatch Events, car les règles cherchent à correspondre aux modèles de l'objet JSON. Pour plus d'informations, consultez les sections Événements et modèles d'événements et événements Amazon EMR dans le guide de l'utilisateur Amazon CloudWatch Events.

Note

Pour nous assurer de vous fournir les informations les plus pertinentes, nous affinons continuellement nos messages d'erreur. Pour cette raison, nous vous recommandons de ne pas analyser le texte des messages pour lancer les actions suivantes dans votre flux de travail.

Événements de démarrage de clusters

État ou changement d'état	Sévérité	Type d’événement	Code de l'événement	Message
CREATING	WARN	Mise en service de la flotte d'instances Amazon EMR	Mise en service EC2 : Capacité d'instance insuffisante	Nous ne sommes pas en mesure de créer votre cluster Amazon EMR ClusterId (ClusterName). La flotte d'instances InstanceFleetIDAmazon EC2 ne dispose pas d'une capacité Spot suffisante pour le type d'instance [Instancetype1, Instancetype2] ni d'une capacité à la demande suffisante pour le type d'instance [Instancetype3, Instancetype4] dans la zone de disponibilité [AvailabilityZone1, AvaliabilityZone2]. Consultez la documentation ici pour plus d'informations sur la manière de réagir à cet événement.
CREATING	WARN	Mise en service du groupe d'instances Amazon EMR	Mise en service EC2 : Capacité d'instance insuffisante	Nous ne sommes pas en mesure de créer votre cluster Amazon EMR ClusterId (ClusterName). Le groupe d'instances InstancegroupIDAmazon EC2 ne dispose pas d'une capacité [Spot or On-Demand] suffisante pour le type d'instance Instancetype dans la zone de disponibilité AvailabilityZone. Consultez la documentation ici pour plus d'informations sur la manière de réagir à cet événement.
STARTING	INFO	Modification de l'état du cluster EMR	Aucun(e)	Le cluster Amazon EMR ClusterId (ClusterName) a été demandé à Time et est en cours de création.
STARTING	INFO	Modification de l'état du cluster EMR	Aucun(e)	Note S'applique uniquement aux clusters avec la configuration des parcs d'instances et plusieurs zones de disponibilité sélectionnées au sein de Amazon EC2. Le cluster Amazon EMR ClusterId (ClusterName) est créé dans la zone (AvailabilityZoneID), qui a été choisie parmi les options de zone de disponibilité spécifiées.
STARTING	INFO	Modification de l'état du cluster EMR	Aucun(e)	Le cluster Amazon EMR ClusterId (ClusterName) a commencé à exécuter des étapes à Time.
WAITING	INFO	Modification de l'état du cluster EMR	Aucun(e)	Le cluster Amazon EMR ClusterId (ClusterName) a été créé à Time et est prêt à être utilisé. - ou - Le cluster Amazon EMR ClusterId (ClusterName) a terminé d'exécuter toutes les étapes en attente à Time. Note Un cluster à l'état WAITING peut toujours traiter des tâches.

Note

Lors de la création ou de l'opération de redimensionnement du cluster, les événements rattachés au code d'événement EC2 provisioning - Insufficient Instance Capacity sont émis régulièrement lorsque votre cluster EMR rencontre une erreur de capacité insuffisante de la part d'Amazon EC2 pour votre flotte d'instances ou votre groupe d'instances. Pour plus d'informations sur comment réagir à ces événements, consultez Réponse aux événements liés à une capacité d'instance insuffisante du cluster Amazon EMR.

Événements de terminaison d'un cluster

État ou changement d'état	Sévérité	Type d’événement	Code de l'événement	Message
TERMINATED	La gravité dépend de la raison du changement d'état, comme illustré dans les exemples suivants : CRITICAL si le cluster a terminé avec l'une des raisons de changement d'état suivantes : INTERNAL_ERROR, VALIDATION_ERROR, INSTANCE_FAILURE, BOOTSTRAP_FAILURE ou STEP_FAILURE. INFO si le cluster a terminé avec l'une des raisons de changement d'état suivantes : USER_REQUEST ou ALL_STEPS_COMPLETED.	Modification de l'état du cluster EMR	Aucun(e)	Le cluster Amazon EMR ClusterId (ClusterName) a été terminé à Time pour le motif de StateChangeReason:Code.
TERMINATED_WITH_ERRORS	CRITICAL	Modification de l'état du cluster EMR	Aucun(e)	Le cluster Amazon EMR ClusterId (ClusterName) a été terminé avec erreurs à Time pour le motif de StateChangeReason:Code.

Événements de modification de l'état de la flotte d'instances

Note

La configuration de flotte d'instances est disponible uniquement dans les versions 4.8.0 et ultérieures d'Amazon EMR, à l'exception des versions 5.0.0 et 5.0.3.

État ou changement d'état	Sévérité	Type d’événement	Code de l'événement	Message
De PROVISIONING à WAITING	INFO		Aucun(e)	La mise en service de la flotte d'instances InstanceFleetID dans le cluster Amazon EMR ClusterId (ClusterName) est terminé. La mise en service a démarré à Time et a duré Num minutes. La flotte d'instances a maintenant une capacité à la demande de Num et une capacité Spot de Num. La capacité à la demande cible était de Num et la capacité Spot cible était de Num.
De WAITING à RESIZING	INFO		Aucun(e)	Un redimensionnement de la flotte d'instances InstanceFleetID dans le cluster Amazon EMR ClusterId (ClusterName) a débuté à Time. La flotte d'instances est en cours de redimensionnement depuis une capacité à la demande de Num vers une cible de Num, et depuis une capacité Spot de Num vers une cible de Num.
De RESIZING à WAITING	INFO		Aucun(e)	L'opération de redimensionnement de la flotte d'instances InstanceFleetID dans le cluster Amazon EMR ClusterId (ClusterName) est terminée. Le redimensionnement a démarré à Time et a duré Num minutes. La flotte d'instances a maintenant une capacité à la demande de Num et une capacité Spot de Num. La capacité à la demande cible était de Num et la capacité Spot cible était de Num.
De RESIZING à WAITING	INFO		Aucun(e)	L'opération de redimensionnement pour la flotte d'instances InstanceFleetID du cluster Amazon EMR ClusterId (ClusterName) a dépassé le délai et s'est arrêtée. Le redimensionnement a démarré à Time et s'est arrêté après Num minutes. La flotte d'instances a maintenant une capacité à la demande de Num et une capacité Spot de Num. La capacité à la demande cible était de Num et la capacité Spot cible était de Num.
SUSPENDED	ERROR		Aucun(e)	La flotte d'instances InstanceFleetID du cluster Amazon EMR ClusterId (ClusterName) a été terminée à Time pour le motif suivant : ReasonDesc.
RESIZING	WARNING		Aucun(e)	L'opération de redimensionnement de la flotte d'instances InstanceFleetID dans le cluster Amazon EMR ClusterId (ClusterName) est bloquée pour le motif suivant : ReasonDesc.
WAITING ou Running	INFO		Aucun(e)	L'opération de redimensionnement de la flotte d'instances InstanceFleetID dans le cluster Amazon EMR ClusterId (ClusterName) n'a pas pu être terminée, car Amazon EMR a ajouté de la capacité Spot dans la zone de disponibilité AvailabilityZone. Nous avons annulé votre demande de mise à disposition de capacité Spot supplémentaire. Pour connaître les actions recommandées, vérifiez Bonnes pratiques pour la flexibilité des instances et des zones de disponibilité et réessayez.
WAITING ou Running	INFO		Aucun(e)	Une opération de redimensionnement de la flotte d'instances InstanceFleetID dans le cluster Amazon EMR ClusterId (ClusterName) a été lancée par Entity à Time.

Événements de redimensionnement de la flotte d'instances

Type d’événement	Sévérité	Code de l'événement	Message
Redimensionnement de la flotte d'instances Amazon EMR	ERROR	Délai d'expiration pour la mise en service Spot	L'opération de redimensionnement de la flotte d'instances InstanceFleetID dans le cluster Amazon EMR ClusterId (ClusterName) n'a pas pu être terminée lors de l'acquisition de capacité Spot dans la zone de disponibilité AvailabilityZone. Nous avons maintenant annulé votre demande et avons cessé d'essayer de fournir une capacité Spot supplémentaire. La flotte d'instances a fourni une capacité Spot de num. La capacité Spot cible était de num. Pour plus d'informations et les actions recommandées, consultez la page de documentation ici et réessayez.
Redimensionnement de la flotte d'instances Amazon EMR	ERROR	Délai d'expiration de la mise en service à la demande	L'opération de redimensionnement de la flotte d'instances InstanceFleetID dans le cluster Amazon EMR ClusterId (ClusterName) n'a pas pu être terminée lors de l'acquisition de capacité à la demande dans la zone de disponibilité AvailabilityZone. Nous avons maintenant annulé votre demande et avons cessé d'essayer de fournir une capacité à la demande supplémentaire. La flotte d'instances a fourni une capacité à la demande de num. La capacité à la demande cible était num. Pour plus d'informations et les actions recommandées, consultez la page de documentation ici et réessayez.
Redimensionnement de la flotte d'instances Amazon EMR	WARNING	Mise en service EC2 : Capacité d'instance insuffisante	Nous ne sommes pas en mesure de terminer l'opération de redimensionnement de la flotte d'instances InstanceFleetID dans le cluster EMR ClusterId (ClusterName), car Amazon EC2 ne dispose pas d'une capacité Spot suffisante pour les types d'instances [Instancetype1, Instancetype2] ni d'une capacité à la demande suffisante pour les types d'instances [Instancetype3, Instancetype4] dans la zone de disponibilité [AvailabilityZone1]. Jusqu'à présent, la flotte d'instances a mis en service une capacité à la demande de num ; la capacité à la demande cible était num. La capacité Spot allouée est num et la capacité Spot cible était num. Consultez la documentation ici pour plus d'informations sur la manière de réagir à cet événement.
Redimensionnement de la flotte d'instances Amazon EMR	WARNING	Délai d'expiration de la mise en service Spot : Redimensionnement continu	Nous sommes toujours en train de fournir de la capacité Spot pour l'opération de redimensionnement de la flotte d'instances qui a été lancée à time, par exemple, au niveau de l'ID de flotte InstanceFleetID dans le cluster Amazon EMR ClusterId (ClusterName) pour [Instancetype1, Instancetype2] dans la zone de disponibilité AvailabilityZone. Lors de la précédente opération de redimensionnement qui avait débuté à time, le délai d'expiration était dépassé. Amazon EMR a donc cessé de fournir de la capacité Spot après avoir ajouté num des instances numdemandées à votre flotte d'instances. Pour plus d'informations, veuillez consulter la page de documentation ici.
Redimensionnement de la flotte d'instances Amazon EMR	WARNING	Délai d'expiration de la mise en service à la demande : Redimensionnement continu	Nous sommes toujours en train de fournir de la capacité à la demande pour l'opération de redimensionnement de la flotte d'instances qui a été lancée à time, par exemple, au niveau de l'ID de flotte InstanceFleetID dans le cluster Amazon EMR ClusterId (ClusterName) pour [Instancetype1, Instancetype2] dans la zone de disponibilité AvailabilityZone. Lors de la précédente opération de redimensionnement qui avait débuté à time, le délai d'expiration était dépassé. Amazon EMR a donc cessé de fournir de la capacité à la demande après avoir ajouté num des instances numdemandées à votre flotte d'instances. Pour plus d'informations, veuillez consulter la page de documentation ici.

Note

Les événements liés au délai de mise en service sont émis lorsqu'Amazon EMR arrête de fournir de la capacité Spot ou à la demande pour la flotte après l'expiration du délai. Pour plus d'informations sur comment réagir à ces événements, consultez Répondre aux événements d'expiration liés au redimensionnement de la flotte d'instances du cluster Amazon EMR.

Événements de groupe d'instances

Type d’événement	Sévérité	Code de l'événement	Message
De RESIZING à Running	INFO	Aucun(e)	L'opération de redimensionnement du groupe d'instances InstanceGroupID dans le cluster Amazon EMR ClusterId (ClusterName) est terminée. Le nombre d'instances est désormais de Num. Le redimensionnement a démarré à Time et a duré Num minutes avant de se terminer.
De RUNNING à RESIZING	INFO	Aucun(e)	Un redimensionnement du groupe d'instances InstanceGroupID dans le cluster Amazon EMR ClusterId (ClusterName) a débuté à Time. Le redimensionnement fait passer le nombre d'instances de Num à Num.
SUSPENDED	ERROR	Aucun(e)	Le groupe d'instances InstanceGroupID du cluster Amazon EMR ClusterId (ClusterName) a été terminé à Time pour le motif suivant : ReasonDesc.
RESIZING	WARNING	Aucun(e)	L'opération de redimensionnement du groupe d'instances InstanceGroupID dans le cluster Amazon EMR ClusterId (ClusterName) est bloquée pour le motif suivant : ReasonDesc.
Redimensionnement du groupe d'instances Amazon EMR	WARNING	Mise en service EC2 : Capacité d'instance insuffisante	Nous ne sommes pas en mesure de terminer l'opération de redimensionnement qui a débuté à time pour le groupe d'instances InstanceGroupID dans le cluster EMR ClusterId (ClusterName), car Amazon EC2 ne dispose pas d'une capacité Spot/On Demand suffisante pour le type d'instance [Instancetype] dans la zone de disponibilité [AvailabilityZone1]. Jusqu'à présent, le nombre d'instances en cours d'exécution du groupe d'instances était de num et le nombre d'instances demandées était de num. Consultez la documentation ici pour plus d'informations sur la manière de réagir à cet événement.
De RUNNING à RESIZING	INFO	Aucun(e)	Un redimensionnement du groupe d'instances InstanceGroupID dans le cluster Amazon EMR ClusterId (ClusterName) a été lancé par Entity à Time.

Note

Avec la version 5.21.0 et ultérieures d'Amazon EMR, vous pouvez remplacer les configurations de cluster et de spécifier des classifications de configuration supplémentaires pour chaque groupe d'instances dans un cluster en cours d'exécution. Pour ce faire, utilisez la console Amazon EMR, le AWS Command Line Interface (AWS CLI) ou le AWS SDK. Pour plus d'informations, consultez Fourniture d'une configuration pour un groupe d'instances dans un cluster en cours d'exécution

Le tableau suivant répertorie des événements Amazon EMR liés à l'opération de reconfiguration, avec l'état ou le changement d'état indiqué par l'événement, la gravité de l'événement et les messages d'événement.

État ou changement d'état	Sévérité	Message
RUNNING	INFO	Une reconfiguration du groupe d'instances InstanceGroupID dans le cluster Amazon EMR ClusterId (ClusterName) a été lancé par l'utilisateur à Time. La version de configuration demandée est Num.
De RECONFIGURING à Running	INFO	L'opération de reconfiguration du groupe d'instances InstanceGroupID dans le cluster Amazon EMR ClusterId (ClusterName) est terminée. La reconfiguration a démarré à Time et a duré Num minutes. La version de configuration actuelle est Num.
De RUNNING à RECONFIGURING dans	INFO	Une reconfiguration du groupe d'instances InstanceGroupID dans le ClusterId (ClusterName) cluster Amazon EMR a débuté à Time. Il s'agit d'une configuration de la version Num vers la version Num.
RESIZING	INFO	L'opération de reconfiguration vers la version de configuration Num pour le groupe d'instances InstanceGroupID dans le cluster Amazon EMR ClusterId (ClusterName) est temporairement bloquée à Time, car le groupe d'instances est à l'état State.
RECONFIGURING	INFO	L'opération de redimensionnement vers le nombre d'instances Num pour le groupe d'instances InstanceGroupID dans le cluster Amazon EMR ClusterId (ClusterName) est temporairement bloquée à Time, car le groupe d'instances est à l'état State.
RECONFIGURING	WARNING	L'opération de reconfiguration du groupe d'instances InstanceGroupID dans le cluster Amazon EMR ClusterId (ClusterName) a échoué à Time et mis Num minutes à échouer. La version de la configuration en échec est Num.
RECONFIGURING	INFO	Les configurations reviennent au numéro de version précédent Num pour le groupe d'instances InstanceGroupID dans le cluster Amazon EMR ClusterId (ClusterName) à Time. La nouvelle version de configuration est Num.
De RECONFIGURING à Running	INFO	Les configurations sont revenues avec succès au numéro de version précédent Num pour le groupe d'instances InstanceGroupID dans le cluster Amazon EMR ClusterId (ClusterName) à Time. La nouvelle version de configuration est Num.
De RECONFIGURING à SUSPENDED	CRITICAL	Impossible de revenir à la version réussie Num précédente pour le groupe d'instances InstanceGroupID dans le cluster Amazon EMR ClusterId (ClusterName) à Time.

Événements de politique de mise à l'échelle automatique

État ou changement d'état	Sévérité	Message
PENDING	INFO	Une politique autoscaling a été ajoutée au groupe d'instances InstanceGroupID du cluster Amazon EMR ClusterId (ClusterName) à Time. La politique est en attente d'attachement. - ou - La politique autoscaling pour le groupe d'instances InstanceGroupID du cluster Amazon EMR ClusterId (ClusterName) a été mise à jour à Time. La politique est en attente d'attachement.
ATTACHED	INFO	La politique autoscaling pour le groupe d'instances InstanceGroupID du cluster Amazon EMR ClusterId (ClusterName) a été rattachée à Time.
DETACHED	INFO	La politique autoscaling pour le groupe d'instances InstanceGroupID du cluster Amazon EMR ClusterId (ClusterName) a été détachée à Time.
FAILED	ERROR	La politique autoscaling pour le groupe d'instances InstanceGroupID du cluster Amazon EMR ClusterId (ClusterName) n'a pas pu être rattachée et a échoué à Time. - ou - La politique autoscaling pour le groupe d'instances InstanceGroupID du cluster Amazon EMR ClusterId (ClusterName) n'a pas pu être détachée et a échoué à Time.

Événements d'étape

État ou changement d'état	Sévérité	Message
PENDING	INFO	L'étape StepID (StepName) a été ajoutée au cluster Amazon EMR ClusterId (ClusterName) à Time et est en attente d'exécution.
CANCEL_PENDING	WARN	L'étape StepID (StepName) du cluster Amazon EMR ClusterId (ClusterName) a été annulée à Time et est en attente d'annulation.
RUNNING	INFO	L'étape StepID (StepName) du cluster Amazon EMR ClusterId (ClusterName) a commencé à s'exécuter à Time.
COMPLETED	INFO	L'étape StepID (StepName) du cluster Amazon EMR ClusterId (ClusterName) s'est terminée à Time. L'étape a commencé à s'exécuter à Time et a duré Num minutes avant de se terminer.
CANCELLED	WARN	La demande d'annulation a réussi pour l'étape de cluster StepID (StepName) dans le cluster Amazon EMR ClusterId (ClusterName) à Time, et l'étape est maintenant annulée.
FAILED	ERROR	L'étape StepID (StepName) du cluster Amazon EMR ClusterId (ClusterName) a échoué à Time.

Événements de remplacement de nœuds défectueux

Type d’événement	Sévérité	Code de l'événement	Message
Remplacement d'un nœud défectueux d'Amazon EMR	INFO	Nœud principal défectueux détecté	Amazon EMR a identifié que l'instance principale du [instanceID (InstanceName)] cluster InstanceGroup/Fleet Amazon EMR est. clusterID (ClusterName) UNHEALTHY Amazon EMR tentera de récupérer ou de remplacer correctement l'instance. UNHEALTHY
Remplacement d'un nœud défectueux d'Amazon EMR	INFO	Nœud principal défectueux - remplacement désactivé	Amazon EMR a identifié que l'instance principale du [instanceID (InstanceName)] cluster InstanceGroup/Fleet Amazon EMR est. {clusterID} (ClusterName) UNHEALTHY Activez le remplacement progressif des nœuds principaux défectueux de votre cluster pour permettre à Amazon EMR de remplacer UNHEALTHY les instances en cas d'impossibilité de les récupérer.
Remplacement d'un nœud défectueux d'Amazon EMR	WARN	Nœud principal défectueux non remplacé	Amazon EMR ne peut pas remplacer votre instance UNHEALTHY principale [instanceID (InstanceName)] InstanceGroup/Fleet dans le cluster clusterID (ClusterName) Amazon EMR pour une raison quelconque. Note La raison pour laquelle Amazon EMR ne peut pas remplacer votre nœud principal varie en fonction de votre scénario. Par exemple, l'une des raisons pour lesquelles Amazon EMR ne peut pas supprimer un nœud est qu'il ne resterait aucun nœud principal dans un cluster.
Remplacement d'un nœud défectueux d'Amazon EMR	INFO	Nœud principal défectueux restauré	Amazon EMR a récupéré vos instances UNHEALTHY principales [instanceID (InstanceName)] InstanceGroup/Fleet dans le cluster Amazon EMR clusterID (ClusterName)

Pour plus d'informations sur le remplacement de nœuds défectueux, consultez la section Remplacement de nœuds défectueux.

Afficher des événements avec la console Amazon EMR

Pour chaque cluster, vous pouvez consulter une liste simple d'événements dans le volet des détails, qui répertorie les événements par ordre décroissant d'occurrence. Vous pouvez également afficher tous les événements pour tous les clusters d'une région par ordre décroissant d'occurrence.

Si vous ne souhaitez pas qu'un utilisateur voit tous les événements de cluster pour une région, ajoutez une instruction qui refuse l'autorisation ("Effect": "Deny") pour l'action elasticmapreduce:ViewEventsFromAllClustersInConsole à une politique attachée à l'utilisateur.

Note

Nous avons repensé la console Amazon EMR pour en faciliter l'utilisation. Consultez Console Amazon EMR pour en savoir plus sur les différences entre l'ancienne et la nouvelle expérience console.

New console

Utiliser la console pour afficher des événements de tous les clusters d'une région

1. Connectez-vous à la AWS Management Console console Amazon EMR et ouvrez-la à l'adresse https://console.aws.amazon.com/emr.

2. Sous EMR sur EC2 dans le volet de navigation de gauche, choisissez Événements.

Utiliser la nouvelle console pour afficher les événements pour un cluster particulier

1. Connectez-vous à la AWS Management Console console Amazon EMR et ouvrez-la à l'adresse https://console.aws.amazon.com/emr.

2. Sous EMR sur EC2, dans le volet de navigation de gauche, choisissez Clusters, puis choisissez un cluster.

3. Pour afficher tous vos événements, sélectionnez l'onglet Événements sur la page de détails du cluster.

Old console

Utiliser l'ancienne console pour afficher des événements de tous les clusters d'une région

1. Ouvrez la console Amazon EMR à l'adressehttps://console.aws.amazon.com/elasticmapreduce/.

2. Choisissez Events (Événements).

Utiliser l'ancienne console pour afficher les événements pour un cluster particulier

1. Ouvrez la console Amazon EMR à l'adressehttps://console.aws.amazon.com/elasticmapreduce/.

2. Choisissez Liste de clusters, sélectionnez un cluster, puis choisissez Afficher les détails.

3. Choisissez Events (Événements) dans le volet des détails du cluster.