AWS Glue에서 블루프린트 및 워크플로를 사용하여 복잡한 ETL 활동 수행

조직의 복잡한 추출, 변환, 로드 프로세스 중 일부는 여러 종속 AWS Glue 작업 및 크롤러를 사용하여 가장 잘 구현될 수 있습니다. AWS Glue 워크플로를 사용하면 AWS Glue에서 단일 엔터티로 실행하고 추적할 수 있는 복잡한 다중 작업, 다중 크롤러 ETL 프로세스를 설계할 수 있습니다. 워크플로를 생성하고 워크플로에서 작업, 크롤러 및 트리거를 지정한 후 온디맨드로 또는 일정에 따라 워크플로를 실행할 수 있습니다.

주제

• AWS Glue의 워크플로 개요

• AWS Glue에서 워크플로 수동 생성 및 구축

• Amazon EventBridge 이벤트로 AWS Glue 워크플로 시작

• 워크플로를 시작한 EventBridge 이벤트 보기

• AWS Glue에서 워크플로 실행 및 모니터링

• 워크플로 실행 중지

• 워크플로 실행 복구 및 재개

• AWS Glue에서 워크플로 실행 속성 가져오기 및 설정

• AWS Glue API를 사용하여 워크플로 쿼리

• AWS Glue의 블루프린트 및 워크플로 제한 사항

• AWS Glue의 블루프린트 오류 해결

• AWS Glue 블루프린트에 대한 페르소나 및 역할의 권한