지표를 통한 Ray 작업 모니터링

AWS Glue Studio 및 Amazon CloudWatch를 사용하여 Ray 작업을 모니터링할 수 있습니다. CloudWatch는 Ray를 통해 AWS Glue에서 원시 데이터를 수집하고 처리합니다. 이러한 데이터는 분석에 사용할 수 있습니다. 이러한 지표는 AWS Glue Studio 콘솔에서 시각화되므로 작업을 실행하면서 모니터링할 수 있습니다.

AWS Glue 모니터링 방법에 대한 일반적인 개요는 Amazon CloudWatch 지표를 사용하여 AWS Glue 모니터링 섹션을 참조하세요. AWS Glue에서 게시한 CloudWatch 지표를 사용하는 방법에 대한 일반적인 개요는 Amazon CloudWatch를 사용한 모니터링 섹션을 참조하세요.

AWS Glue 콘솔에서 Ray 작업 모니터링

작업 실행에 대한 세부 정보 페이지의 실행 세부 정보 섹션 아래에서 사용 가능한 작업 지표를 시각화하는 사전 구축된 집계된 그래프를 볼 수 있습니다. AWS Glue Studio에서는 모든 작업 실행 시 작업 지표를 Cloud Watch에 전송합니다. 이를 통해 클러스터 및 작업의 프로파일을 구축하고 각 노드에 대한 세부 정보에 액세스할 수 있습니다.

사용 가능한 지표에 대한 자세한 내용은 Ray 작업 Amazon CloudWatch 실행에 대한 메트릭 보기 섹션을 참조하십시오.

CloudWatch의 Ray 작업 지표 개요

CloudWatch에서 세부 모니터링이 활성화되면 Ray 지표를 게시합니다. 지표는 Glue/Ray CloudWatch 네임스페이스에 게시됩니다.

• 인스턴스 지표

  작업에 할당된 인스턴스의 CPU, 메모리 및 디스크 사용률에 대한 지표를 게시합니다. 이러한 지표는 ExecutorId, ExecutorType, host와 같은 기능으로 식별됩니다. 이러한 지표는 표준 Linux CloudWatch 에이전트 지표의 하위 세트입니다. CloudWatch 설명서에서 지표 이름 및 기능에 대한 정보를 확인할 수 있습니다. 자세한 내용은 CloudWatch 에이전트가 수집하는 지표를 참조하세요.

• Ray 클러스터 지표

  스크립트를 실행하는 Ray 프로세스에서 이 네임스페이스로 지표를 전달한 후 사용자에게 가장 중요한 지표를 제공합니다. 사용 가능한 지표는 Ray 버전에 따라 다를 수 있습니다. 작업이 실행 중인 Ray 버전에 대한 자세한 내용은 AWS Glue 버전 섹션을 참조하세요.

  Ray는 인스턴스 수준에서 지표를 수집합니다. 또한 작업 및 클러스터에 대한 지표도 제공합니다. Ray의 기본 지표 전략에 대한 자세한 내용은 Ray 설명서의 Metrics를 참조하세요.

참고

AWS Glue ETL 작업에만 사용되는 Glue/Job Metrics/ 네임스페이스에는 Ray 지표를 게시하지 않습니다.