Configurer les notifications de cohérence pour CloudWatch et Amazon SQS

Vous pouvez activer CloudWatch les métriques et les SQS messages Amazon en cas EMRFS de problèmes de cohérence éventuels sur Amazon S3.

CloudWatch

Lorsque CloudWatch les métriques sont activées, une métrique nommée Inconsistency est envoyée chaque fois qu'un FileSystem API appel échoue en raison de la cohérence éventuelle d'Amazon S3.

Pour consulter CloudWatch les statistiques relatives aux éventuels problèmes de cohérence d'Amazon S3

Pour afficher la métrique d'incohérence dans la CloudWatch console, sélectionnez les EMRFS métriques, puis sélectionnez une paire JobFlowId/Metric Name. Par exemple : j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus, etc.

1. Ouvrez la CloudWatch console à l'adresse https://console.aws.amazon.com/cloudwatch/.

2. Dans le tableau de bord, dans la section Métriques, choisissez EMRFS.

3. Dans le volet Job Flow Metrics, sélectionnez une ou plusieurs paires JobFlowId/Metric Name. Une représentation graphique des métriques s'affiche dans la fenêtre ci-dessous.

Amazon SQS

Lorsque SQS les notifications Amazon sont activées, une SQS file d'attente Amazon portant le nom EMRFS-Inconsistency-<jobFlowId> est créée lors EMRFS de l'initialisation. Les SQS messages Amazon sont placés dans la file d'attente lorsqu'un FileSystem API appel échoue en raison de la cohérence éventuelle d'Amazon S3. Le message contient des informations telles qu' JobFlowIdune liste de chemins incohérents, une trace de pile, etc. API Les messages peuvent être lus à l'aide de la SQS console Amazon ou à l'aide de la EMRFS read-sqs commande.

Pour gérer les SQS messages Amazon pour les éventuels problèmes de cohérence d'Amazon S3

SQSLes messages Amazon relatifs aux éventuels problèmes de cohérence d'Amazon S3 peuvent être lus à l'aide du EMRFSCLI. Pour lire les messages d'une SQS file d'attente EMRFS Amazon, tapez la read-sqs commande et spécifiez un emplacement de sortie sur le système de fichiers local du nœud principal pour le fichier de sortie obtenu.

Vous pouvez également supprimer une file d'SQSattente EMRFS Amazon à l'aide de la delete-sqs commande.

1. Pour lire les messages d'une SQS file d'attente Amazon, tapez la commande suivante. Remplacez queuename avec le nom de la SQS file d'attente Amazon que vous avez configurée et remplacée /path/filename avec le chemin du fichier de sortie :

   emrfs read-sqs --queue-name queuename --output-file /path/filename

   Par exemple, pour lire et sortir SQS des messages Amazon depuis la file d'attente par défaut, tapez :

   emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename

   Note

   Vous pouvez également utiliser les raccourcis -q et -o à la place de --queue-name et --output-file respectivement.

2. Pour supprimer une SQS file d'attente Amazon, tapez la commande suivante :

   emrfs delete-sqs --queue-name queuename

   Par exemple, pour supprimer la file d'attente par défaut, tapez :

   emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU

   Note

   Vous pouvez également utiliser le raccourci -q à la place de --queue-name.