AWS Glue PySpark 변환 참조

AWS Glue는 PySpark ETL 작업에 사용할 수 있는 다음과 같은 기본 제공 변환을 제공합니다. 데이터는 Apache Spark SQL의 DynamicFrame확장인 a라는 데이터 구조를 통해 변환에서 변환으로 전달됩니다. DataFrame DynamicFrame은 데이터를 포함하고 데이터 스키마를 참조하여 데이터를 진행합니다.

이러한 변환의 대부분은 DynamicFrame 클래스의 메서드로도 존재합니다. 자세한 내용은 변환을 참조하십시오DynamicFrame .

• GlueTransform 베이스 클래스

• ApplyMapping 클래스

• DropFields 클래스

• DropNullField 클래스

• ErrorsAsDynamicFrame 클래스

• EvaluateDataQuality 클래스

• FillMissingValues 클래스

• Filter 클래스

• FindIncrementalMatches 클래스

• FindMatches 클래스

• FlatMap 클래스

• Join 클래스

• Map 클래스

• MapToCollection 클래스

• mergeDynamicFrame

• Relationalize 클래스

• RenameField 클래스

• ResolveChoice 클래스

• SelectFields 클래스

• SelectFromCollection 클래스

• _DDB_JSON 클래스를 단순화하세요

• Spigot 클래스

• SplitFields 클래스

• SplitRows 클래스

• Unbox 클래스

• UnnestFrame 클래스