GlueContext クラス

Apache Spark の SparkContext オブジェクトをラップすることにより、Apache Spark プラットフォームとやり取りするためのメカニズムが提供されます。

Amazon S3 でのデータセットの操作

• purge_table

• purge_s3_path

• transition_table

• transition_s3_path

purge_table

purge_table(catalog_id=None, database="", table_name="", options={}, transformation_ctx="")

指定したカタログのデータベースとテーブルのファイルを Amazon S3 から削除します。パーティション内のすべてのファイルが削除されると、そのパーティションもカタログから削除されます。

削除したオブジェクトを回復できるようにするには、Amazon S3 バケットでオブジェクトのバージョニングを有効にします。オブジェクトバージョニングが有効になっていないバケットからオブジェクトが削除された場合、そのオブジェクトは復元できません。バージョニングが有効にされているバケットで削除されたオブジェクトを復元する方法の詳細については、AWS Support ナレッジセンターで「バージョニングが有効なバケットで削除された Amazon S3 オブジェクトを取得するにはどうすればよいですか?」を参照してください。

• catalog_id – 現在アクセスされている Data Catalog のカタログ ID (Data Catalog のアカウント ID)。デフォルトでは、None に設定されています。None のデフォルト値は、サービス内の呼び出し元アカウントのカタログ ID になります。

• database – 使用するデータベース。

• table_name – 使用するテーブルの名前。

• options – 削除するファイルのフィルタリングと、マニフェストファイルの生成のためオプション。

  • retentionPeriod – ファイルを保持する期間を時間単位で指定します。保存期間より新しいファイルは保持されます。デフォルトでは 168 時間（7 日）に設定されています。

  • partitionPredicate – この述語を満たすパーティションは削除されます。これらのパーティションの保存期間内のファイルは削除されません。"" を設定 – デフォルトでは空です。

  • excludeStorageClasses – excludeStorageClasses セット内のストレージクラスを持つファイルは削除されません。デフォルトは Set() – 空のセットです。

  • manifestFilePath – マニフェストファイルを生成するためのオプションのパス。正常にパージされたすべてのファイルが Success.csv に記録され、失敗したファイルは Failed.csv に記録されます。

• transformation_ctx - 使用する変換コンテキスト (オプション)。マニフェストファイルパスで使用されます。

glueContext.purge_table("database", "table", {"partitionPredicate": "(month=='march')", "retentionPeriod": 1, "excludeStorageClasses": ["STANDARD_IA"], "manifestFilePath": "s3://bucketmanifest/"})

purge_s3_path

purge_s3_path(s3_path, options={}, transformation_ctx="")

指定された Amazon S3 パスからファイルを再帰的に削除します。

削除したオブジェクトを回復できるようにするには、Amazon S3 バケットでオブジェクトのバージョニングを有効にします。オブジェクトバージョニングが有効になっていないバケットからオブジェクトが削除された場合、そのオブジェクトは復元できません。バージョニングされたバケットで削除されたオブジェクトを復元する方法の詳細については、AWS Support ナレッジセンターで「バージョニングが有効なバケットで削除された Amazon S3 オブジェクトを取得するにはどうすればよいですか?」を参照してください。

• s3_path – 削除するファイルを指す Amazon S3 のパス (s3://<bucket>/<prefix>/ 形式)

• options – 削除するファイルのフィルタリングと、マニフェストファイルの生成のためオプション。

  • retentionPeriod – ファイルを保持する期間を時間単位で指定します。保存期間より新しいファイルは保持されます。デフォルトでは 168 時間（7 日）に設定されています。

  • partitionPredicate – この述語を満たすパーティションは削除されます。これらのパーティションの保存期間内のファイルは削除されません。"" を設定 – デフォルトでは空です。

  • excludeStorageClasses – excludeStorageClasses セット内のストレージクラスを持つファイルは削除されません。デフォルトは Set() – 空のセットです。

  • manifestFilePath – マニフェストファイルを生成するためのオプションのパス。正常にパージされたすべてのファイルが Success.csv に記録され、失敗したファイルは Failed.csv に記録されます。

• transformation_ctx - 使用する変換コンテキスト (オプション)。マニフェストファイルパスで使用されます。

glueContext.purge_s3_path("s3://bucket/path/", {"retentionPeriod": 1, "excludeStorageClasses": ["STANDARD_IA"], "manifestFilePath": "s3://bucketmanifest/"})

transition_table

transition_table(database, table_name, transition_to, options={}, transformation_ctx="", catalog_id=None)

指定されたカタログのデータベースとテーブルのために、Amazon S3 に格納されているファイルの、ストレージクラスを移行します。

任意の 2 つのストレージクラス間で移行できます。GLACIER と DEEP_ARCHIVE のストレージクラスでは、これらのクラスに移行できます。ただし、S3 RESTORE と GLACIER のストレージクラスからの移行には DEEP_ARCHIVE を使用します。

Amazon S3 からファイルまたはパーティションを読み取る AWS Glue ETL ジョブを実行している場合は、一部の Amazon S3 ストレージクラスタイプを除外できます。詳細については、「Excluding Amazon S3 Storage Classes」を参照してください。

• database – 使用するデータベース。

• table_name – 使用するテーブルの名前。

• transition_to – 移行する先の Amazon S3 ストレージクラス。

• options – 削除するファイルのフィルタリングと、マニフェストファイルの生成のためオプション。

  • retentionPeriod – ファイルを保持する期間を時間単位で指定します。保存期間より新しいファイルは保持されます。デフォルトでは 168 時間（7 日）に設定されています。

  • partitionPredicate – この述語を満たすパーティションは移行されます。これらのパーティションの保存期間内のファイルは移行されません。"" を設定 – デフォルトでは空です。

  • excludeStorageClasses – excludeStorageClasses セット内のストレージクラスを持つファイルは移行されません。デフォルトは Set() – 空のセットです。

  • manifestFilePath – マニフェストファイルを生成するためのオプションのパス。正常に移行されたすべてのファイルが Success.csv に記録され、失敗したファイルは Failed.csv に記録されます。

  • accountId – 移行変換を実行する Amazon Web Services アカウント ID。このトランスフォームには必須です。

  • roleArn – 移行変換を実行する AWS ロール。このトランスフォームには必須です。

• transformation_ctx - 使用する変換コンテキスト (オプション)。マニフェストファイルパスで使用されます。

• catalog_id – 現在アクセスされている Data Catalog のカタログ ID (Data Catalog のアカウント ID)。デフォルトでは、None に設定されています。None のデフォルト値は、サービス内の呼び出し元アカウントのカタログ ID になります。

glueContext.transition_table("database", "table", "STANDARD_IA", {"retentionPeriod": 1, "excludeStorageClasses": ["STANDARD_IA"], "manifestFilePath": "s3://bucketmanifest/", "accountId": "12345678901", "roleArn": "arn:aws:iam::123456789012:user/example-username"})

transition_s3_path

transition_s3_path(s3_path, transition_to, options={}, transformation_ctx="")

指定された Amazon S3 パス内のファイルのストレージクラスを再帰的に移行します。

任意の 2 つのストレージクラス間で移行できます。GLACIER と DEEP_ARCHIVE のストレージクラスでは、これらのクラスに移行できます。ただし、S3 RESTORE と GLACIER のストレージクラスからの移行には DEEP_ARCHIVE を使用します。

Amazon S3 からファイルまたはパーティションを読み取る AWS Glue ETL ジョブを実行している場合は、一部の Amazon S3 ストレージクラスタイプを除外できます。詳細については、「Excluding Amazon S3 Storage Classes」を参照してください。

• s3_path – 移行するファイルの Amazon S3 のパス (s3://<bucket>/<prefix>/ 形式)

• transition_to – 移行する先の Amazon S3 ストレージクラス。

• options – 削除するファイルのフィルタリングと、マニフェストファイルの生成のためオプション。

  • retentionPeriod – ファイルを保持する期間を時間単位で指定します。保存期間より新しいファイルは保持されます。デフォルトでは 168 時間（7 日）に設定されています。

  • partitionPredicate – この述語を満たすパーティションは移行されます。これらのパーティションの保存期間内のファイルは移行されません。"" を設定 – デフォルトでは空です。

  • excludeStorageClasses – excludeStorageClasses セット内のストレージクラスを持つファイルは移行されません。デフォルトは Set() – 空のセットです。

  • manifestFilePath – マニフェストファイルを生成するためのオプションのパス。正常に移行されたすべてのファイルが Success.csv に記録され、失敗したファイルは Failed.csv に記録されます。

  • accountId – 移行変換を実行する Amazon Web Services アカウント ID。このトランスフォームには必須です。

  • roleArn – 移行変換を実行する AWS ロール。このトランスフォームには必須です。

• transformation_ctx - 使用する変換コンテキスト (オプション)。マニフェストファイルパスで使用されます。

glueContext.transition_s3_path("s3://bucket/prefix/", "STANDARD_IA", {"retentionPeriod": 1, "excludeStorageClasses": ["STANDARD_IA"], "manifestFilePath": "s3://bucketmanifest/", "accountId": "12345678901", "roleArn": "arn:aws:iam::123456789012:user/example-username"})

Creating

• __init__

• getSource

• create_dynamic_frame_from_rdd

• create_dynamic_frame_from_catalog

• create_dynamic_frame_from_options

• add_ingestion_time_columns

• create_data_frame_from_catalog

• create_data_frame_from_options

__init__

__init__(sparkContext)

• sparkContext - 使用する Apache Spark のコンテキスト。

getSource

getSource(connection_type, transformation_ctx = "", **options)

外部ソースから DataSource を読み取るために使用できる DynamicFrames オブジェクトを作成します。

• connection_type – 使用する接続タイプ (Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、JDBC など)。有効な値には、s3、mysql、postgresql、redshift、sqlserver、oracle および dynamodb があります。

• transformation_ctx - 使用する変換コンテキスト (オプション)。

• options - オプションの名前と値のペアのコレクション。詳細については、「AWS Glue での ETL の接続タイプとオプション」を参照してください。

以下は、getSource の使用例です。

>>> data_source = context.getSource("file", paths=["/in/path"])
>>> data_source.setFormat("json")
>>> myFrame = data_source.getFrame()

create_dynamic_frame_from_rdd

create_dynamic_frame_from_rdd(data, name, schema=None, sample_ratio=None, transformation_ctx="")

Apache Spark Resilient Distributed Dataset (RDD) から作成された DynamicFrame を返します。

• data - 使用するデータソース。

• name - 使用するデータの名前。

• schema - 使用するスキーマ (オプション)。

• sample_ratio - 使用するサンプル比率 (オプション)。

• transformation_ctx - 使用する変換コンテキスト (オプション)。

create_dynamic_frame_from_catalog

create_dynamic_frame_from_catalog(database, table_name, redshift_tmp_dir, transformation_ctx = "", push_down_predicate= "", additional_options = {}, catalog_id = None)

Data Catalog データベースとテーブル名を使用して作成された DynamicFrame を返します。

• Database - 読み取り元のデータベース。

• table_name - 読み取り元のテーブルの名前。

• redshift_tmp_dir - 使用する Amazon Redshift の一時ディレクトリ (オプション)。

• transformation_ctx - 使用する変換コンテキスト (オプション)。

• push_down_predicate – データセットのすべてのファイルをリストアップして読み取る必要がないフィルタパーティション。詳細については、「プッシュダウン述語を使用した事前フィルタ処理」を参照してください。

• additional_options - オプションの名前と値のペアのコレクション。AWS Glue での ETL の接続タイプとオプション でリストされている使用可能なオプション (endpointUrl、streamName、bootstrap.servers、security.protocol、topicName、classification、および delimiter を除く)。別のオプションとして、catalogPartitionPredicate もサポートされています。

  catalogPartitionPredicate – カタログ式を渡して、インデックス列に基づいたフィルタリングができます。これにより、フィルタリングをサーバー側で処理できます。詳細については、「AWS Glue Partition Indexes」を参照してください。push_down_predicate と catalogPartitionPredicate では、異なる構文が使用されることに注意してください。前者では Spark SQL の標準構文を使用し、後者では JSQL パーサーを使用します。

• catalog_id – 現在アクセスされている Data Catalog のカタログ ID (アカウント ID)。None の場合は、呼び出し元のアカウント ID のデフォルトが使用されます。

create_dynamic_frame_from_options

create_dynamic_frame_from_options(connection_type, connection_options={}, format=None, format_options={}, transformation_ctx = "")

指定された接続と形式で作成された DynamicFrame を返します。

• connection_type – 接続タイプ (Amazon S3、Amazon Redshift、JDBC など)。有効な値には、s3、mysql、postgresql、redshift、sqlserver、oracle および dynamodb があります。

• connection_options – パスやデータベーステーブルなど接続オプション (オプション)。s3 の connection_type に関しては、Amazon S3 パスのリストが定義されています。

  connection_options = {"paths": ["s3://aws-glue-target/temp"]}

  JDBC 接続の場合、いくつかのプロパティを定義する必要があります。データベース名は URL の一部である必要があることに注意してください。オプションで接続オプションに含めることができます。

  connection_options = {"url": "jdbc-url/database", "user": "username", "password": "password","dbtable": "table-name", "redshiftTmpDir": "s3-tempdir-path"} 

  dbtable プロパティは JDBC テーブルの名前です。データベース内でスキーマをサポートする JDBC データストアの場合、schema.table-name を指定します。スキーマを指定しない場合、デフォルトの「パブリック」スキーマが使用されます。

  詳細については、「AWS Glue での ETL の接続タイプとオプション」を参照してください。

• format – 形式の仕様 (オプション)。これは、Amazon S3、または複数の形式をサポートする AWS Glue 接続で使用されます。サポートされる形式については、「AWS Glue での ETL 入力および出力の形式オプション」を参照してください。

• format_options – 指定された形式についてのオプション。サポートされる形式については、「AWS Glue での ETL 入力および出力の形式オプション」を参照してください。

• transformation_ctx - 使用する変換コンテキスト (オプション)。

• push_down_predicate – データセットのすべてのファイルをリストアップして読み取る必要がないフィルタパーティション。詳細については、「Pre-Filtering Using Pushdown Predicates」を参照してください。

add_ingestion_time_columns

add_ingestion_time_columns(dataFrame, timeGranularity = "")

入力 DataFrame への取り込み時間列 (ingest_year、ingest_month、ingest_day、ingest_hour、ingest_minute) を追加します。Amazon S3 の Data Catalog テーブルをターゲットとして指定する場合、この関数は、AWS Glue により生成されたスクリプト内で自動的に生成されます。この関数は、出力テーブル上で、取り込み時間列があるパーティションを自動的に更新します。これにより、入力データに明示的な取り込み時間列を指定しなくても、取り込み時間において出力データの自動的なパーティション化が行えます。

• dataFrame – 取り込み時間列の追加先である dataFrame。

• timeGranularity – 時間列の詳細度。有効な値は「day」、「hour」、および「minute」です。例えば、関数に対し「hour」が渡された場合、元の dataFrame は「ingest_year」、「ingest_month」、「ingest_day」に加え「ingest_hour」の時間列を持つことになります。

時間の詳細度列を追加した後、そのデータフレームを返します。

例:

dynamic_frame = DynamicFrame.fromDF(glueContext.add_ingestion_time_columns(dataFrame, "hour"))

create_data_frame_from_catalog

create_data_frame_from_catalog(database, table_name, transformation_ctx = "", additional_options = {})

Data Catalog テーブルからの情報を使用して作成された DataFrame を返します。この関数は、AWS Glue のストリーミングソースのみで使用してください。

• database – 読み取り元の Data Catalog データベース。

• table_name – 読み取り元の Data Catalog テーブルの名前。

• transformation_ctx - 使用する変換コンテキスト (オプション)。

• additional_options - オプションの名前と値のペアのコレクション。可能なオプションには、startingPosition、maxFetchTimeInMs、および startingOffsets など、ストリーミングソース用として AWS Glue での ETL の接続タイプとオプション にリストされているものが含まれます。

例:

df = glueContext.create_data_frame.from_catalog( 
    database = "MyDB", 
    table_name = "streaming_table", 
    transformation_ctx = "df", 
    additional_options = {"startingPosition": "TRIM_HORIZON", "inferSchema": "true"})

create_data_frame_from_options

create_data_frame_from_options(connection_type, connection_options={}, format=None, format_options={}, transformation_ctx = "")

指定された接続と形式で作成された DataFrame を返します。この関数は、AWS Glue のストリーミングソースのみで使用してください。

• connection_type – ストリーミング接続タイプ。有効な値は、kinesis および kafka です。

• connection_options – 接続オプション。Kinesis と Kafka では異なります。各ストリーミングデータソースのすべての接続オプションの一覧は、AWS Glue での ETL の接続タイプとオプション で確認いただけます。ストリーミング接続オプションについては、以下の違いに注意してください。

  • Kinesis ストリーミングのソースには streamARN、startingPosition、inferSchema、および classification が必要です。

  • Kafka ストリーミングのソースには connectionName、topicName、startingOffsets、inferSchema、および classification が必要です。

• format – 形式の仕様 (オプション)。これは、Amazon S3、または複数の形式をサポートする AWS Glue 接続で使用されます。サポートされる形式については、「AWS Glue での ETL 入力および出力の形式オプション」を参照してください。

• format_options – 指定された形式についてのオプション。サポートされる形式オプションについては、「AWS Glue での ETL 入力および出力の形式オプション」を参照してください。

• transformation_ctx - 使用する変換コンテキスト (オプション)。

Amazon Kinesis ストリーミングソースの例:

kinesis_options =
   { "streamARN": "arn:aws:kinesis:us-east-2:777788889999:stream/fromOptionsStream",
     "startingPosition": "TRIM_HORIZON", 
     "inferSchema": "true", 
     "classification": "json" 
   }
data_frame_datasource0 = glueContext.create_data_frame.from_options(connection_type="kinesis", connection_options=kinesis_options)

Kafka ストリーミングソースの例：

kafka_options =
    { "connectionName": "ConfluentKafka", 
      "topicName": "kafka-auth-topic", 
      "startingOffsets": "earliest", 
      "inferSchema": "true", 
      "classification": "json" 
    }
data_frame_datasource0 = glueContext.create_data_frame.from_options(connection_type="kafka", connection_options=kafka_options)

forEachBatch

forEachBatch(frame, batch_function, options)

ストリーミングソースから読み取られるすべてのマイクロバッチに渡される、batch_function を適用します。

• frame – 現在のマイクロバッチを含む DataFrame。

• batch_function – すべてのマイクロバッチに適用される関数。

• options – マイクロバッチの処理方法に関する情報を保持している、キーと値のペアの集合。以下のような必須オプションがあります。

  • windowSize – 各バッチの処理にかかる時間。

  • checkpointLocation – ストリーミング ETL ジョブ用に、チェックポイントが格納される場所。

  • batchMaxRetries – 失敗した場合にこのバッチを再試行する最大回数。デフォルト値は 3 です。このオプションは、Glue バージョン 2.0 以降でのみ設定可能です。

例:

glueContext.forEachBatch(
    frame = data_frame_datasource0,
    batch_function = processBatch, 
    options = {
        "windowSize": "100 seconds", 
        "checkpointLocation": "s3://kafka-auth-dataplane/confluent-test/output/checkpoint/"
    }
)
   
def processBatch(data_frame, batchId):
    if (data_frame.count() > 0):
        datasource0 = DynamicFrame.fromDF(
          glueContext.add_ingestion_time_columns(data_frame, "hour"), 
          glueContext, "from_data_frame"
        )
        additionalOptions_datasink1 = {"enableUpdateCatalog": True}
        additionalOptions_datasink1["partitionKeys"] = ["ingest_yr", "ingest_mo", "ingest_day"]
        datasink1 = glueContext.write_dynamic_frame.from_catalog(
          frame = datasource0, 
          database = "tempdb", 
          table_name = "kafka-auth-table-output", 
          transformation_ctx = "datasink1", 
          additional_options = additionalOptions_datasink1
        )   

Writing

• getSink

• write_dynamic_frame_from_options

• write_from_options

• write_dynamic_frame_from_catalog

• write_dynamic_frame_from_jdbc_conf

• write_from_jdbc_conf

getSink

getSink(connection_type, format = None, transformation_ctx = "", **options)

外部ソースに DataSink を書き込むために使用できる DynamicFrames オブジェクトを取得します。期待しているシンクを確実に取得するために、SparkSQL format を最初に確認します。

• connection_type – 使用する接続タイプ (Amazon S3、Amazon Redshift、JDBC など)。有効な値には、s3、mysql、postgresql、redshift、sqlserver、および oracle があります。

• format – 使用する SparkSQL 形式 (オプション)。

• transformation_ctx - 使用する変換コンテキスト (オプション)。

• options - オプションの名前と値のペアのコレクション。

例:

>>> data_sink = context.getSink("s3")
>>> data_sink.setFormat("json"),
>>> data_sink.writeFrame(myFrame)

write_dynamic_frame_from_options

write_dynamic_frame_from_options(frame, connection_type, connection_options={}, format=None, format_options={}, transformation_ctx = "")

指定された接続と形式を使用して DynamicFrame を書き込み、返します。

• frame - 書き込む DynamicFrame。

• connection_type – 接続タイプ (Amazon S3、Amazon Redshift、JDBC など)。有効な値には、s3、mysql、postgresql、redshift、sqlserver、および oracle があります。

• connection_options - 接続オプション (パスやデータベーステーブルなど) (オプション)。s3 の connection_type では、Amazon S3 パスが定義されています。

  connection_options = {"path": "s3://aws-glue-target/temp"}

  JDBC 接続の場合、いくつかのプロパティを定義する必要があります。データベース名は URL の一部である必要があることに注意してください。オプションで接続オプションに含めることができます。

  connection_options = {"url": "jdbc-url/database", "user": "username", "password": "password","dbtable": "table-name", "redshiftTmpDir": "s3-tempdir-path"} 

  dbtable プロパティは JDBC テーブルの名前です。データベース内でスキーマをサポートする JDBC データストアの場合、schema.table-name を指定します。スキーマを指定しない場合、デフォルトの「パブリック」スキーマが使用されます。

  詳細については、「AWS Glue での ETL の接続タイプとオプション」を参照してください。

• format – 形式の仕様 (オプション)。これは、Amazon S3、または複数の形式をサポートする AWS Glue 接続で使用されます。サポートされる形式については、「AWS Glue での ETL 入力および出力の形式オプション」を参照してください。

• format_options – 指定された形式についてのオプション。サポートされる形式については、「AWS Glue での ETL 入力および出力の形式オプション」を参照してください。

• transformation_ctx - 使用する変換コンテキスト (オプション)。

write_from_options

write_from_options(frame_or_dfc, connection_type, connection_options={}, format={}, format_options={}, transformation_ctx = "")

指定された接続および形式情報で作成された DynamicFrame または DynamicFrameCollection を書き込み、返します。

• frame_or_dfc - 書き込む DynamicFrame または DynamicFrameCollection。

• connection_type – 接続タイプ (Amazon S3、Amazon Redshift、JDBC など)。有効な値には、s3、mysql、postgresql、redshift、sqlserver、および oracle があります。

• connection_options - 接続オプション (パスやデータベーステーブルなど) (オプション)。s3 の connection_type では、Amazon S3 パスが定義されています。

  connection_options = {"path": "s3://aws-glue-target/temp"}

  JDBC 接続の場合、いくつかのプロパティを定義する必要があります。データベース名は URL の一部である必要があることに注意してください。オプションで接続オプションに含めることができます。

  connection_options = {"url": "jdbc-url/database", "user": "username", "password": "password","dbtable": "table-name", "redshiftTmpDir": "s3-tempdir-path"} 

  dbtable プロパティは JDBC テーブルの名前です。データベース内でスキーマをサポートする JDBC データストアの場合、schema.table-name を指定します。スキーマを指定しない場合、デフォルトの「パブリック」スキーマが使用されます。

  詳細については、「AWS Glue での ETL の接続タイプとオプション」を参照してください。

• format – 形式の仕様 (オプション)。これは、Amazon S3、または複数の形式をサポートする AWS Glue 接続で使用されます。サポートされる形式については、「AWS Glue での ETL 入力および出力の形式オプション」を参照してください。

• format_options – 指定された形式についてのオプション。サポートされる形式については、「AWS Glue での ETL 入力および出力の形式オプション」を参照してください。

• transformation_ctx - 使用する変換コンテキスト (オプション)。

write_dynamic_frame_from_catalog

write_dynamic_frame_from_catalog(frame, database, table_name, redshift_tmp_dir, transformation_ctx = "", addtional_options = {}, catalog_id = None)

Data Catalog データベースとテーブルからの情報を使用して、記述した DynamicFrame を返します。

• frame - 書き込む DynamicFrame。

• Database – テーブルを含む Data Catalog データベース。

• table_name – ターゲットに関連付けられた Data Catalog テーブルの名前。

• redshift_tmp_dir - 使用する Amazon Redshift の一時ディレクトリ (オプション)。

• transformation_ctx - 使用する変換コンテキスト (オプション)。

• additional_options - オプションの名前と値のペアのコレクション。

• catalog_id – 現在アクセスされている Data Catalog のカタログ ID (アカウント ID)。None の場合は、呼び出し元のアカウント ID のデフォルトが使用されます。

write_dynamic_frame_from_jdbc_conf

write_dynamic_frame_from_jdbc_conf(frame, catalog_connection, connection_options={}, redshift_tmp_dir = "", transformation_ctx = "", catalog_id = None)

指定された JDBC 接続情報を使用して DynamicFrame を書き込み、返します。

• frame - 書き込む DynamicFrame。

• catalog_connection - 使用するカタログ接続。

• connection_options - 接続オプション (パスやデータベーステーブルなど) (オプション)。詳細については、「AWS Glue での ETL の接続タイプとオプション」を参照してください。

• redshift_tmp_dir - 使用する Amazon Redshift の一時ディレクトリ (オプション)。

• transformation_ctx - 使用する変換コンテキスト (オプション)。

• catalog_id – 現在アクセスされている Data Catalog のカタログ ID (アカウント ID)。None の場合は、呼び出し元のアカウント ID のデフォルトが使用されます。

write_from_jdbc_conf

write_from_jdbc_conf(frame_or_dfc, catalog_connection, connection_options={}, redshift_tmp_dir = "", transformation_ctx = "", catalog_id = None)

指定された JDBC 接続情報を使用して DynamicFrame または DynamicFrameCollection を書き込み、返します。

• frame_or_dfc - 書き込む DynamicFrame または DynamicFrameCollection。

• catalog_connection - 使用するカタログ接続。

• connection_options - 接続オプション (パスやデータベーステーブルなど) (オプション)。詳細については、「AWS Glue での ETL の接続タイプとオプション」を参照してください。

• redshift_tmp_dir - 使用する Amazon Redshift の一時ディレクトリ (オプション)。

• transformation_ctx - 使用する変換コンテキスト (オプション)。

• catalog_id – 現在アクセスされている Data Catalog のカタログ ID (アカウント ID)。None の場合は、呼び出し元のアカウント ID のデフォルトが使用されます。

Extracting

• extract_jdbc_conf

extract_jdbc_conf

extract_jdbc_conf(connection_name, catalog_id = None)

Data Catalog 内の接続オブジェクトから、user、password、vendor、url をキーに持つ dict を返します。

• connection_name – Data Catalog 内にある接続名。

• catalog_id – 現在アクセスされている Data Catalog のカタログ ID (アカウント ID)。None の場合は、呼び出し元のアカウント ID のデフォルトが使用されます。