DynamicFrameWriter クラス - AWS Glue

DynamicFrameWriter クラス

 メソッド

__init__

__init__(glue_context)

from_options

from_options(frame, connection_type, connection_options={}, format=None, format_options={}, transformation_ctx="")

指定された接続と形式を使用して DynamicFrame を書き込みます。

  • frame - 書き込む DynamicFrame

  • connection_type - 接続タイプ。有効な値には、s3mysqlpostgresqlredshiftsqlserver、および oracle があります。

  • connection_options - 接続オプション (パスやデータベーステーブルなど) (オプション)。s3connection_type では、Amazon S3 パスが定義されています。

    connection_options = {"path": "s3://aws-glue-target/temp"}

    JDBC 接続の場合、いくつかのプロパティを定義する必要があります。データベース名は URL の一部である必要があることに注意してください。オプションで接続オプションに含めることができます。

    connection_options = {"url": "jdbc-url/database", "user": "username", "password": "password","dbtable": "table-name", "redshiftTmpDir": "s3-tempdir-path"}

    dbtable プロパティは JDBC テーブルの名前です。データベース内でスキーマをサポートする JDBC データストアの場合、schema.table-name を指定します。スキーマを指定しない場合、デフォルトの「パブリック」スキーマが使用されます。

    詳細については、「AWS Glue での ETL の接続タイプとオプション」を参照してください。

  • format – 形式の仕様 (オプション)。これは、Amazon Simple Storage Service (Amazon S3)、または複数の形式をサポートする AWS Glue 接続で使用されます。サポートされる形式については、「AWS Glue での ETL 入力および出力の形式オプション」を参照してください。

  • format_options – 指定された形式についてのオプション。サポートされる形式については、「AWS Glue での ETL 入力および出力の形式オプション」を参照してください。

  • transformation_ctx - 使用する変換コンテキスト (オプション)。

from_catalog

from_catalog(frame, name_space, table_name, redshift_tmp_dir="", transformation_ctx="")

指定されたカタログデータベースとテーブル名を使用して DynamicFrame を書き込みます。

  • frame - 書き込む DynamicFrame

  • name_space – 使用するデータベース。

  • table_name - 使用する table_name

  • redshift_tmp_dir - 使用する Amazon Redshift の一時ディレクトリ (オプション)。

  • transformation_ctx - 使用する変換コンテキスト (オプション)。

from_jdbc_conf

from_jdbc_conf(frame, catalog_connection, connection_options={}, redshift_tmp_dir = "", transformation_ctx="")

指定された JDBC 接続情報を使用して DynamicFrame を書き込みます。

  • frame - 書き込む DynamicFrame

  • catalog_connection - 使用するカタログ接続。

  • connection_options - 接続オプション (パスやデータベーステーブルなど) (オプション)。

  • redshift_tmp_dir - 使用する Amazon Redshift の一時ディレクトリ (オプション)。

  • transformation_ctx - 使用する変換コンテキスト (オプション)。

write_dynamic_frame の例

この例では、POSIX パス引数を持つ S3 のconnection_typeconnection_options で使用して、ローカルストレージへの書き込みを許可し、出力をローカルに書き込みます。

glueContext.write_dynamic_frame.from_options(\ frame = dyf_splitFields,\ connection_options = {'path': '/home/glue/GlueLocalOutput/'},\ connection_type = 's3',\ format = 'json')