Configurar las notificaciones de coherencia para CloudWatch Amazon SQS

Puede habilitar CloudWatch las métricas y los mensajes de Amazon SQS en EMRFS para los posibles problemas de coherencia de Amazon S3.

CloudWatch

Cuando CloudWatch las métricas están habilitadas, se envía una métrica denominada Inconsistencia cada vez que se produce un error en una llamada a la FileSystem API debido a la coherencia final de Amazon S3.

Para ver CloudWatch las métricas de posibles problemas de coherencia de Amazon S3

Para ver la métrica de inconsistencia en la CloudWatch consola, seleccione las métricas de EMRFS y, a continuación, seleccione un par JobFlowId/nombre de métrica. Por ejemplo, j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus etc.

1. Abra la consola en CloudWatch . https://console.aws.amazon.com/cloudwatch/

2. En el Dashboard (Panel), en la sección Metrics (Métricas), elija EMRFS.

3. En el panel Métricas del flujo de trabajos, seleccione uno o más pares de JobFlowId/Nombre de métrica. Aparece una representación gráfica de las métricas en la ventana siguiente.

Amazon SQS

Cuando están habilitadas las notificaciones de Amazon SQS, se crea una cola de Amazon SQS con el nombre EMRFS-Inconsistency-<jobFlowId> cuando se inicializa EMRFS. Los mensajes de Amazon SQS se envían en la cola cuando falla una llamada a la API de FileSystem debido a consistencia final de Amazon S3. El mensaje contiene información como la API JobFlowId, una lista de rutas incoherentes, un rastreo de pila, etc. Los mensajes se pueden leer a través de la consola de Amazon SQS o mediante el comando read-sqs de EMRFS.

Para administrar mensajes de Amazon SQS para problemas de consistencia final de Amazon S3

Los mensajes de Amazon SQS para problemas de consistencia final de Amazon S3 se pueden leer con la CLI de EMRFS. Para leer mensajes desde una cola de Amazon SQS de EMRFS, escriba el comando read-sqs y especifique una ubicación de salida en el sistema de archivos local del nodo maestro para el archivo de salida resultante.

También puede eliminar una cola de Amazon SQS de EMRFS utilizando el comando delete-sqs.

1. Para leer los mensajes de una cola de Amazon SQS, escriba el siguiente comando. queuenameSustitúyalo por el nombre de la cola de Amazon SQS que configuró y /path/filename sustitúyalo por la ruta al archivo de salida:

   emrfs read-sqs --queue-name queuename --output-file /path/filename

   Por ejemplo, para leer y generar mensajes de Amazon SQS desde la cola predeterminada, escriba:

   emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename

   nota

   También puede utilizar los accesos directos -q y -o en lugar de --queue-name y --output-file respectivamente.

2. Para eliminar una cola de Amazon SQS, escriba el comando siguiente:

   emrfs delete-sqs --queue-name queuename

   Por ejemplo, para eliminar la cola predeterminada, escriba:

   emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU

   nota

   También puede utilizar el acceso directo -q en lugar de --queue-name.