작업 모니터링 및 디버깅 - AWS 글루

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

작업 모니터링 및 디버깅

AWS Glue 작업에 대한 지표를 수집하고 AWS Glue 및 Amazon CloudWatch 콘솔에서 이러한 지표를 시각화하여 문제를 식별하고 수정할 수 있습니다. AWS Glue 작업을 프로파일링하려면 다음 단계를 수행해야 합니다.

  1. 지표를 활성화하려면 다음을 수행합니다.

    1. 작업 정의에서 작업 측정치 옵션을 활성화합니다. AWS Glue 콘솔에서 또는 작업의 파라미터로서 프로파일링을 활성화할 수 있습니다. 자세한 정보는 Spark 작업에 대한 작업 속성 정의 또는 AWS Glue 작업에서 작업 파라미터 사용 섹션을 참조하세요.

    2. 작업 정의에서 AWS Glue 관찰성 지표 옵션을 활성화합니다. AWS Glue 콘솔에서 또는 작업의 파라미터로서 관찰성을 활성화할 수 있습니다. 자세한 정보는 AWS Glue 관찰성 메트릭을 사용한 모니터링 섹션을 참조하세요.

  2. 작업 스크립트에서 GlueContext를 초기화하는지 확인합니다. 예를 들면 다음 스크립트 조각은 GlueContext를 초가화하고 프로파일링된 코드가 스크립트에 있는 위치를 표시합니다. 이 일반적인 형식은 이어지는 디버깅 시나리오에서 사용됩니다.

    
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
import time

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

...
...
code-to-profile
...
...


job.commit()

  3. 작업을 실행합니다.

  4. 지표를 시각화하려면 다음을 수행합니다.

    1. AWS Glue 콘솔에서 작업 지표를 시각화하고 드라이버 또는 실행기의 이상 지표를 식별합니다.

    2. 작업 실행 모니터링 페이지, 작업 실행 세부 정보 페이지 또는 Amazon CloudWatch에서 관찰성 지표를 확인합니다. 자세한 내용은 AWS Glue 관찰성 메트릭을 사용한 모니터링 단원을 참조하십시오.

  5. 식별된 측정치를 사용하여 근본 원인의 범위를 좁힙니다.

  6. 원한다면 식별된 드라이버나 작업 실행기의 로그 스트림을 사용하여 근본 원인을 확인할 수 있습니다.

AWS Glue 관찰성 지표의 사용 사례