AWS Glue 스트리밍 지표 시각화 - AWS Glue

AWS Glue 스트리밍 지표 시각화

시각적 지표 도표화

  1. Amazon CloudWatch 콘솔에서 지표로 이동한 다음 찾아보기 탭을 선택합니다. 그런 다음 '사용자 지정 네임스페이스'에서 Glue를 선택합니다.

    스크린샷은 AWS Glue 스트리밍 작업을 모니터링할 때 Amazon CloudWatch 콘솔에서 지표에 액세스하는 것을 보여줍니다.

  2. 작업 지표를 선택하여 모든 작업에 대한 지표를 표시합니다.

  3. JobName=glue-feb-monitoring과 JobRunId=ALL을 기준으로 지표를 필터링합니다. 아래 그림에 표시된 대로 '+' 기호를 클릭하여 검색 필터에 지표를 추가할 수 있습니다.

  4. 관심 있는 지표의 확인란을 선택합니다. 아래 그림에서는 numberAllExecutors와 numberMaxNeededExecutors를 선택했습니다.

    스크린샷은 스트리밍 작업을 모니터링할 때 지표에 평균을 적용하는 것을 보여줍니다.

  5. 이러한 지표를 선택한 후에는 그래프로 표시된 지표 탭으로 이동하여 통계를 적용할 수 있습니다.

  6. 지표가 1분마다 내보내지기 때문에 batchProcessingTimeInMs와 maxConsumerLagInMs에 대해 1분 동안의 '평균'을 적용할 수 있습니다. numRecords에 대해 1분마다 '합계'를 적용할 수 있습니다.

  7. 옵션 탭을 사용하여 그래프에 가로 windowSize 주석을 추가할 수 있습니다.

    스크린샷은 스트리밍 작업을 모니터링할 때 그래프에 windowSize 주석을 추가하는 것을 보여줍니다.

  8. 지표를 선택했으면 대시보드를 생성하고 지표를 추가합니다. 다음은 샘플 대시보드입니다.

    스크린샷은 스트리밍 작업을 모니터링하기 위한 샘플 대시보드를 보여줍니다.