CloudWatch 및 Amazon에 대한 일관성 알림을 구성합니다. SQS

Amazon S3의 최종 일관성 문제에 EMRFS 대해 CloudWatch 지표와 Amazon SQS 메시지를 활성화할 수 있습니다.

CloudWatch

CloudWatch 지표가 활성화되면 Amazon S3의 최종 일관성으로 인해 FileSystem API 호출이 실패할 때마다 불일치라는 지표가 푸시됩니다.

Amazon S3의 최종 일관성 문제에 대한 CloudWatch 지표를 보려면

CloudWatch 콘솔에서 불일치 지표를 보려면 EMRFS 지표를 선택한 다음 JobFlowId/Metric 이름 쌍을 선택합니다. 예: j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus 등.

1. 에서 CloudWatch https://console.aws.amazon.com/cloudwatch/콘솔을 엽니다.

2. 대시보드의 지표 섹션에서 선택합니다 EMRFS.

3. Job Flow 지표 창에서 하나 이상의 JobFlowId/지표 이름 쌍을 선택합니다. 측정치를 나타내는 그림이 아래 창에 나타납니다.

아마존 SQS

Amazon SQS 알림이 활성화되면 초기화 시 EMRFS 이름이 있는 Amazon SQS 대기열이 EMRFS-Inconsistency-<jobFlowId> 생성됩니다. Amazon S3의 최종 일관성으로 인해 FileSystem API 호출이 실패하면 Amazon SQS 메시지가 대기열로 푸시됩니다. 메시지에는 일관성 없는 경로 목록 JobFlowIdAPI, 스택 추적 등과 같은 정보가 포함되어 있습니다. Amazon SQS 콘솔이나 EMRFS read-sqs 명령을 사용하여 메시지를 읽을 수 있습니다.

Amazon S3에 대한 Amazon SQS 메시지의 최종 일관성 문제를 관리하려면

Amazon S3의 최종 일관성 문제에 대한 Amazon SQS 메시지는 를 사용하여 읽을 수 있습니다. EMRFS CLI EMRFSAmazon SQS 대기열에서 메시지를 읽으려면 read-sqs 명령을 입력하고 마스터 노드의 로컬 파일 시스템에서 결과 출력 파일의 출력 위치를 지정합니다.

delete-sqs명령을 사용하여 EMRFS Amazon SQS 대기열을 삭제할 수도 있습니다.

1. Amazon SQS 대기열에서 메시지를 읽으려면 다음 명령을 입력합니다. Replace queuename 구성한 Amazon SQS 대기열의 이름을 사용하여 교체합니다./path/filename 출력 파일 경로 포함:

   emrfs read-sqs --queue-name queuename --output-file /path/filename

   예를 들어, 기본 대기열에서 Amazon SQS 메시지를 읽고 출력하려면 다음과 같이 입력합니다.

   emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename

   참고

   또한 각각 -q 및 -o 대신에 --queue-name 및 --output-file 바로 가기를 사용할 수도 있습니다.

2. Amazon SQS 대기열을 삭제하려면 다음 명령을 입력합니다.

   emrfs delete-sqs --queue-name queuename

   예를 들어 기본 대기열을 삭제하려면 다음을 입력합니다.

   emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU

   참고

   또한 -q 대신에 --queue-name 바로 가기를 사용할 수도 있습니다.