PySpark의 AWS Glue ETL 스크립트 프로그래밍

AWS Glue용 Python 코드 예제와 유틸리티는 GitHub 웹 사이트의 AWS Glue 샘플 리포지토리에서 찾을 수 있습니다.

AWS Glue와 함께 Python 사용하기

AWS Glue는 추출, 변환, 로드 작업 스크립트에 대해 PySpark Python의 확장을 지원합니다. 이 단원에서는 AWS Glue API와 함께 Python의 ETL 스트립트를 사용하는 방법을 설명합니다.

• AWS Glue과 함께 Python을 사용하기 위한 설정

• Python에서 AWS Glue API 호출

• AWS Glue와 함께 Python 라이브러리 사용

• AWS Glue Python 코드 샘플

AWS Glue PySpark 확장

AWS Glue는 다음 확장 기능을 PySpark Python 언어에 생성합니다.

• getResolvedOptions를 사용한 파라미터 액세스

• PySpark 확장 유형

• DynamicFrame 수업

• DynamicFrameCollection 클래스

• DynamicFrameWriter 클래스

• DynamicFrameReader 수업

• GlueContext 클래스

AWS Glue PySpark 변환

AWS Glue는 PySpark ETL 작업에 다음 변환 클래스를 사용하기 위해 생성됩니다.

• GlueTransform 베이스 클래스

• ApplyMapping 클래스

• DropFields 클래스

• DropNullField 클래스

• ErrorsAsDynamicFrame 클래스

• FillMissingValues 클래스

• Filter 클래스

• FindIncrementalMatches 클래스

• FindMatches 클래스

• FlatMap 클래스

• Join 클래스

• Map 클래스

• MapToCollection 클래스

• mergeDynamicFrame

• Relationalize 클래스

• RenameField 클래스

• ResolveChoice 클래스

• SelectFields 클래스

• SelectFromCollection 클래스

• Spigot 클래스

• SplitFields 클래스

• SplitRows 클래스

• Unbox 클래스

• UnnestFrame 클래스