Configurar las notificaciones de coherencia para CloudWatch Amazon SQS

Puede activar CloudWatch las métricas y SQS los mensajes de Amazon en caso EMRFS de que surjan problemas de coherencia en Amazon S3.

CloudWatch

Cuando CloudWatch las métricas están habilitadas, se envía una métrica denominada Inconsistencia cada vez que se produce un error en una FileSystem API llamada debido a la coherencia final de Amazon S3.

Para ver CloudWatch las métricas de posibles problemas de coherencia de Amazon S3

Para ver la métrica de inconsistencia en la CloudWatch consola, seleccione las EMRFS métricas y, a continuación, seleccione un par JobFlowId/nombre de métrica. Por ejemplo, j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus etc.

1. Abra la CloudWatch consola en. https://console.aws.amazon.com/cloudwatch/

2. En el panel de control, en la sección Métricas, selecciona EMRFS.

3. En el panel Métricas del flujo de trabajos, seleccione uno o más pares de JobFlowId/Nombre de métrica. Aparece una representación gráfica de las métricas en la ventana siguiente.

Amazon SQS

Cuando SQS las notificaciones de Amazon están habilitadas, se crea una SQS cola de Amazon con el nombre EMRFS-Inconsistency-<jobFlowId> cuando EMRFS se inicializa. Los SQS mensajes de Amazon pasan a la cola cuando se produce un error en una FileSystem API llamada debido a la posible coherencia de Amazon S3. El mensaje contiene información como JobFlowId, por ejemploAPI, una lista de rutas incoherentes, un rastreo de pila, etc. Los mensajes se pueden leer con la SQS consola de Amazon o con el EMRFS read-sqs comando.

Para gestionar SQS los mensajes de Amazon para posibles problemas de coherencia de Amazon S3

SQSLos mensajes de Amazon para los posibles problemas de coherencia de Amazon S3 se pueden leer mediante el EMRFSCLI. Para leer los mensajes de una SQS cola de EMRFS Amazon, escriba el read-sqs comando y especifique una ubicación de salida en el sistema de archivos local del nodo maestro para el archivo de salida resultante.

También puedes eliminar una SQS cola de EMRFS Amazon mediante el delete-sqs comando.

1. Para leer los mensajes de una SQS cola de Amazon, escribe el siguiente comando. Reemplazar queuename con el nombre de la SQS cola de Amazon que configuraste y reemplazaste /path/filename con la ruta al archivo de salida:

   emrfs read-sqs --queue-name queuename --output-file /path/filename

   Por ejemplo, para leer y SQS enviar los mensajes de Amazon de la cola predeterminada, escribe:

   emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename

   nota

   También puede utilizar los accesos directos -q y -o en lugar de --queue-name y --output-file respectivamente.

2. Para eliminar una SQS cola de Amazon, escribe el siguiente comando:

   emrfs delete-sqs --queue-name queuename

   Por ejemplo, para eliminar la cola predeterminada, escriba:

   emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU

   nota

   También puede utilizar el acceso directo -q en lugar de --queue-name.