AWS Glue 작업을 위한 Apache Spark 웹 UI 사용 설정

Apache Spark 웹 UI를 사용하여 AWS Glue 작업 시스템에서 실행 중인 AWS Glue ETL 작업을 모니터링하고 디버그할 수 있습니다. AWS Glue 콘솔 또는 AWS Command Line Interface(AWS CLI)를 사용하여 Spark UI를 구성할 수 있습니다.

30초마다 AWS Glue가 Spark 이벤트 로그를 지정한 Amazon S3 경로로 백업합니다.

Spark UI 구성(콘솔)

AWS Management Console을 사용하여 Spark UI를 구성하려면 다음 단계를 따르세요. AWS Glue 작업을 생성할 때 Spark UI는 기본으로 활성화됩니다.

작업을 생성하거나 편집할 때 Spark UI를 켜려면

1. AWS Management Console에 로그인하여 https://console.aws.amazon.com/glue/에서 AWS Glue 콘솔을 엽니다.

2. 탐색 창에서 작업을 선택합니다.

3. 작업 추가를 선택하거나 기존 작업을 선택합니다.

4. 작업 세부 정보에서 고급 속성을 엽니다.

5. Spark UI 탭에서 Amazon S3에 Spark UI 로그 쓰기를 선택합니다.

6. 작업의 Spark 이벤트 로그를 저장할 Amazon S3 경로를 지정합니다. 작업에서 보안 구성을 사용하는 경우 암호화는 Spark UI 로그 파일에도 적용됩니다. 자세한 내용은 AWS Glue에서 작성한 데이터 암호화 섹션을 참조하세요.

7. Spark UI 로깅 및 모니터링 구성에서:

   • AWS Glue 콘솔에서 볼 로그를 생성하는 경우 표준을 선택합니다.

   • Spark 기록 서버에서 볼 로그를 생성하는 경우 레거시를 선택합니다.

   • 둘 다 생성하도록 선택할 수도 있습니다.

Spark UI 구성(AWS CLI)

AWS CLI를 사용하여 AWS Glue 콘솔에서 Spark UI로 볼 로그를 생성하려면 다음 작업 파라미터를 AWS Glue 작업에 전달합니다. 자세한 내용은 AWS Glue 작업 파라미터 섹션을 참조하세요.

'--enable-spark-ui': 'true',
'--spark-event-logs-path': 's3://s3-event-log-path'

기존 위치에 로그를 배포하려면 --enable-spark-ui-legacy-path 파라미터를 "true"로 설정합니다. 두 가지 형식으로 로그를 생성하지 않으려면 --enable-spark-ui 매개변수를 제거하십시오.

노트북을 사용하여 세션에 대한 Spark UI 구성

주의

AWS Glue 대화형 세션은 현재 콘솔의 Spark UI를 지원하지 않습니다. Spark 기록 서버를 구성합니다.

AWS Glue 노트북을 사용하는 경우 세션을 시작하기 전에 SparkUI 구성을 설정합니다. 이렇게 하려면 %%configure 셀 매직을 사용합니다.

%%configure { “--enable-spark-ui”: “true”, “--spark-event-logs-path”: “s3://path” }