CloudWatch 및 Amazon SQS에 대한 일관성 알림 구성

EMRFS에서 Amazon S3 최종 일관성 문제와 관련하여 CloudWatch 지표 및 Amazon SQS 메시지를 활성화할 수 있습니다.

CloudWatch

CloudWatch 지표가 활성화되면 Amazon S3의 최종 일관성으로 인해 FileSystem API 직접 호출이 실패할 때마다 불일치라는 이름의 지표가 푸시됩니다.

Amazon S3 최종 일관성 문제에 대해 CloudWatch 지표를 보는 방법

CloudWatch 콘솔에서 불일치 지표를 보려면 EMRFS 지표를 선택한 다음 JobFlowID 및 지표 이름 페어를 선택합니다. 예: j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus 등.

1. https://console.aws.amazon.com/cloudwatch/에서 CloudWatch 콘솔을 엽니다.

2. [Dashboard]의 [Metrics] 섹션에서 [EMRFS]를 선택합니다.

3. [Job Flow Metrics] 창에서 하나 이상의 [JobFlowId/Metric Name] 페어를 선택합니다. 측정치를 나타내는 그림이 아래 창에 나타납니다.

Amazon SQS

Amazon SQS 알림이 활성화되면 EMRFS가 초기화될 때 이름이 EMRFS-Inconsistency-<jobFlowId>인 Amazon SQS 대기열이 생성됩니다. Amazon S3의 최종 일관성으로 인해 FileSystem API 직접 호출에 실패하면 Amazon SQS 메시지가 대기열로 푸시됩니다. 이 메시지에는 JobFlowId, API, 일관되지 않은 경로 목록, 스택 추적 등의 정보가 포함됩니다. Amazon SQS 콘솔이나 EMRFS read-sqs 명령을 사용하여 메시지를 읽을 수 있습니다.

Amazon S3 최종 일관성 문제에 대한 Amazon SQS 메시지를 관리하는 방법

Amazon S3 최종 일관성 문제에 대한 Amazon SQS 메시지는 EMRFS CLI를 사용하여 읽을 수 있습니다. EMRFS Amazon SQS 대기열에서 메시지를 읽으려면 read-sqs 명령을 입력하고 결과 출력 파일에 대해 프라이머리 노드의 로컬 파일 시스템에 출력 위치를 지정합니다.

또한 delete-sqs 명령을 사용하여 EMRFS Amazon SQS 대기열을 삭제할 수도 있습니다.

1. Amazon SQS 대기열의 메시지를 읽으려면 다음 명령을 입력합니다. queuename을 구성된 Amazon SQS 대기열의 이름으로 바꾸고 /path/filename을 출력 파일의 경로로 바꿉니다.

   emrfs read-sqs --queue-name queuename --output-file /path/filename

   예를 들어 기본 대기열에서 Amazon SQS 메시지를 읽고 출력하려면 다음을 입력합니다.

   emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename

   참고

   또한 각각 -q 및 -o 대신에 --queue-name 및 --output-file 바로 가기를 사용할 수도 있습니다.

2. Amazon SQS 대기열을 삭제하려면 다음 명령을 입력합니다.

   emrfs delete-sqs --queue-name queuename

   예를 들어 기본 대기열을 삭제하려면 다음을 입력합니다.

   emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU

   참고

   또한 -q 대신에 --queue-name 바로 가기를 사용할 수도 있습니다.