PySpark で AWS Glue ETL スクリプトをプログラムする

Python のコード例や AWS Glue のユーティリティは、GitHub サイトの AWS Glue サンプルリポジトリで公開されています。

AWS Glue での Python の使用

AWS Glue では、抽出、変換、ロード (ETL) ジョブをスクリプト化するための PySpark Python 拡張言語機能がサポートされています。このセクションでは、ETL スクリプトと AWS Glue API で Python を使用する方法について説明します。

• AWS Glue で Python を使用するためのセットアップ

• Python での AWS Glue API の呼び出し

• AWS Glue での Python ライブラリの使用

• AWS Glue Python コードサンプル

AWS Glue PySpark 拡張機能

AWS Glue は PySpark Python 方言に以下の拡張機能を作成しました。

• getResolvedOptions を使用して、パラメータにアクセスする

• PySpark 拡張子型

• DynamicFrame クラス

• DynamicFrameCollection クラス

• DynamicFrameWriter クラス

• DynamicFrameReader クラス

• GlueContext クラス

AWS Glue PySpark 変換

AWS Glue は PySpark ETL オペレーションで使用する次の変換クラスを作成しました。

• GlueTransform 基本クラス

• ApplyMapping クラス

• DropFields クラス

• DropNullFields クラス

• ErrorsAsDynamicFrame クラス

• FillMissingValues クラス

• フィルタクラス

• FindIncrementalMatches クラス

• FindMatches クラス

• FlatMap クラス

• Join クラス

• マップクラス

• MapToCollection クラス

• mergeDynamicFrame

• クラスの関連付け

• RenameField クラス

• ResolveChoice クラス

• SelectFields クラス

• SelectFromCollection クラス

• スピゴットクラス

• SplitFields クラス

• SplitRows クラス

• Unbox クラス

• UnnestFrame クラス