インタラクティブセッション API - AWS Glue
 —  データ型  —セッションSessionCommandStatementStatementOutputStatementOutputDataConnectionsList —  操作  —CreateSession (create_session)StopSession (stop_session)DeleteSession (delete_session)GetSession (get_session)ListSessions (list_sessions)RunStatement (run_statement)CancelStatement (cancel_statement)GetStatement (get_statement)ListStatements (list_statements)

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

インタラクティブセッション API

インタラクティブセッション API は、 AWS Glue インタラクティブセッションを使用してデータ統合用の抽出、変換、ロード (ETL) スクリプトを構築およびテストすることに関連する AWS Glue API について説明します。

データ型

セッション構造

リモート Spark ランタイム環境が実行されている期間。

フィールド

  • Id – UTF-8 文字列、1～255 バイト長、Single-line string pattern に一致。

    セッションの ID

  • CreatedOn – タイムスタンプ。

    セッションが作成された日時。

  • Status - UTF-8 文字列 (有効値: PROVISIONING | READY | FAILED | TIMEOUT | STOPPING | STOPPED).。

    セッションのステータスです。

  • ErrorMessage – 説明文字列、2048 バイト長以下、URI address multi-line string pattern に一致。

    セッション中に表示されるエラーメッセージです。

  • Description – 説明文字列、2048 バイト長以下、URI address multi-line string pattern に一致。

    セッションの説明です。

  • Role - UTF-8 文字列。20 ～ 2,048 バイト長。Custom string pattern #26 に一致。

    セッションに関連付けられている IAM ロールの名前または Amazon リソースネーム (ARN)。

  • Command – SessionCommand オブジェクト。

    コマンドオブジェクト。「」を参照してください SessionCommand。

  • DefaultArguments – キーバリューペアのマップ配列。75 ペア以下。

    各キーは UTF-8 文字列、1～128 バイト長で、Custom string pattern #27 に一致します。

    各値は UTF-8 文字列、4096 バイト長で、URI address multi-line string pattern に一致します。

    キーバリューペアのマップ配列。最大ペア数は 75 です。

  • Connections – ConnectionsList オブジェクト。

    セッションに使用される接続の数。

  • Progress – 数値 (double)。

    セッションのコード実行の進行状況。

  • MaxCapacity – 数値 (double)。

    ジョブの実行時に割り当てることができる AWS Glue データ処理ユニット (DPUsの数。DPU は処理能力を相対的に測定するもので、4 個の vCPU のコンピューティング性能と 16 GB のメモリで構成されています。

  • SecurityConfiguration – UTF-8 文字列、1～255 バイト長、Single-line string pattern に一致。

    セッションで使用する SecurityConfiguration 構造の名前。

  • GlueVersion – UTF-8 文字列、1～255 バイト長、Custom string pattern #20 に一致。

    AWS Glue バージョンによって、 が AWS Glue サポートする Apache Spark および Python のバージョンが決まります。は 2.0 より大きい GlueVersion 必要があります。

  • DataAccessId – UTF-8 文字列、1 ～ 36 バイト。

    セッションのデータアクセス ID。

  • PartitionId – UTF-8 文字列、1 ～ 36 バイト。

    セッションのパーティション ID。

  • NumberOfWorkers – 数値 (整数)。

    セッションに使用する、定義済み WorkerType のワーカー数。

  • WorkerType – UTF-8 文字列 (有効な値: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="")。

    セッションの実行時に割り当てられる事前定義済みのワーカーの種類。Spark セッション用 に G.1X、G.2X、G.4X、または G.8X の値を使用できます。Ray セッション用に 値 Z.2X を使用できます。

  • CompletedOn – タイムスタンプ。

    このセッションが完了した日付と時刻。

  • ExecutionTime – 数値 (double)。

    セッションの合計実行時間。

  • DPUSeconds – 数値 (double)。

    セッションによって消費される DPUs (式： ExecutionTime * MaxCapacity）。

  • IdleTimeout – 数値 (整数)。

    セッションがタイムアウトするまでのアイドル時の分数。

  • ProfileName – UTF-8 文字列、1～255 バイト長、Single-line string pattern に一致。

    セッションに関連付けられた AWS Glue 使用プロファイルの名前。

SessionCommand 構造

ジョブを実行する SessionCommand。

フィールド

  • Name – UTF-8 文字列、1～255 バイト長、Single-line string pattern に一致。

    の名前を指定します SessionCommand。「glueetl」または「gluestreaming」を使用できます。

  • PythonVersion– UTF-8 文字列、「Custom string pattern #21」に一致。

    Python バージョンを指定します。Python バージョンは、Spark タイプのジョブでサポートされるバージョンを示します。

Statement 構造

セッションで特定のアクションを発生させるためのステートメントまたはリクエスト。

フィールド

  • Id – 数値 (整数)。

    ステートメントの ID。

  • Code – UTF-8 文字列。

    ステートメントの実行コード。

  • State - UTF-8 文字列 (有効値: WAITING | RUNNING | AVAILABLE | CANCELLING | CANCELLED | ERROR).。

    リクエストがアクションされている間の状態。

  • Output – StatementOutput オブジェクト。

    JSON 形式での出力。

  • Progress – 数値 (double)。

    コード実行の進行状況。

  • StartedOn – 数値 (long 型)。

    ジョブ定義が開始された UNIX の日時。

  • CompletedOn – 数値 (long 型)。

    ジョブ定義が完了した UNIX の日時。

StatementOutput 構造

JSON 形式のコード実行の出力。

フィールド

  • Data – StatementOutputData オブジェクト。

    コード実行の出力。

  • ExecutionCount – 数値 (整数)。

    出力の実行回数。

  • Status - UTF-8 文字列 (有効値: WAITING | RUNNING | AVAILABLE | CANCELLING | CANCELLED | ERROR).。

    コード実行の出力状態。

  • ErrorName – UTF-8 文字列。

    出力内エラーの名前。

  • ErrorValue – UTF-8 文字列。

    出力のエラー値。

  • Traceback – UTF-8 文字列の配列。

    出力のトレースバック。

StatementOutputData 構造

JSON 形式のコード実行の出力。

フィールド

  • TextPlain – UTF-8 文字列。

    テキスト形式のコード実行の出力。

ConnectionsList 構造

ジョブが使用する接続を指定します。

フィールド

  • Connections – UTF-8 文字列の配列。

    ジョブが使用する接続のリスト。

操作

CreateSession アクション (Python: create_session)

新しいセッションを作成します。

リクエスト

新しいセッションの作成をリクエストします。

  • Id – 必須: UTF-8 文字列、1～255 バイト長、Single-line string pattern に一致。

    セッションリクエストの ID。

  • Description – 説明文字列、2048 バイト長以下、URI address multi-line string pattern に一致。

    セッションの説明です。

  • Role – 必須: UTF-8 文字列。20 ～ 2048 バイト長。Custom string pattern #26 に一致。

    IAM ロール の ARN

  • Command – 必須: SessionCommand オブジェクト。

    ジョブを実行する SessionCommand。

  • Timeout - 数値 (整数)。1 以上。

    セッションがタイムアウトするまでの時間 (分)。Spark ETLジョブのデフォルトは48時間 (2,880分) であり、このジョブタイプの最大セッション存続時間です。他のジョブタイプについては、ドキュメントを参照してください。

  • IdleTimeout - 数値 (整数)。1 以上。

    セッションがタイムアウトするまでのアイドル時の分数。Spark ETL ジョブのデフォルトは、タイムアウト値です。他のジョブタイプについては、ドキュメントを参照してください。

  • DefaultArguments – キーバリューペアのマップ配列。75 ペア以下。

    各キーは UTF-8 文字列、1～128 バイト長で、Custom string pattern #27 に一致します。

    各値は UTF-8 文字列、4096 バイト長で、URI address multi-line string pattern に一致します。

    キーバリューペアのマップ配列。最大ペア数は 75 です。

  • Connections – ConnectionsList オブジェクト。

    セッションに使用する接続の数。

  • MaxCapacity – 数値 (double)。

    ジョブの実行時に割り当てることができる AWS Glue データ処理ユニット (DPUsの数。DPU は処理能力を相対的に測定するもので、4 個の vCPU のコンピューティング性能と 16 GB のメモリで構成されています。

  • NumberOfWorkers – 数値 (整数)。

    セッションに使用する、定義済み WorkerType のワーカー数。

  • WorkerType – UTF-8 文字列 (有効な値: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="")。

    ジョブの実行時に割り当てられる事前定義済みのワーカーの種類。Spark ジョブに使用できる値は G.1X、G.2X、G.4X、または G.8X です。Ray ノートブックに使用できる値は Z.2X です。

    • G.1X ワーカータイプでは、各ワーカーは 84 GB のディスク (約 34 GB の空き容量) を備えた 1 DPU (4 vCPU、16 GB のメモリ) にマッピングされており、ワーカーごとに 1 つのエグゼキューターを提供します。データ変換、結合、クエリなどのワークロードには、ほとんどのジョブを実行するためのスケーラブルで費用対効果の高い方法として、このワーカータイプをお勧めします。

    • G.2X ワーカータイプでは、各ワーカーは 128 GB のディスク (約 77 GB の空き容量) を備えた 2 DPU (8 vCPU、32 GB のメモリ) にマッピングされており、ワーカーごとに 1 つのエグゼキューターを提供します。データ変換、結合、クエリなどのワークロードには、ほとんどのジョブを実行するためのスケーラブルで費用対効果の高い方法として、このワーカータイプをお勧めします。

    • G.4X ワーカータイプでは、各ワーカーは 256 GB のディスク (約 235 GB の空き容量) を備えた 4 DPU (16 vCPU、64 GB のメモリ) にマッピングされており、ワーカーごとに 1 つのエグゼキューターを提供します。ワークロードに含まれる変換、集約、結合、クエリへの要求が非常に厳しいジョブには、このワーカータイプをお勧めします。このワーカータイプは、米国東部 (オハイオ）、米国東部 (バージニア北部）、米国西部 (オレゴン）、アジアパシフィック (シンガポール）、アジアパシフィック (シドニー）、アジアパシフィック (東京）、カナダ (中部）、欧州 (フランクフルト）、欧州 (アイルランド）、欧州 (ストックホルム) の各 AWS リージョンで、 AWS Glue バージョン 3.0 以降の Spark ETL ジョブでのみ使用できます。

    • G.8X ワーカータイプでは、各ワーカーは 512 GB のディスク (約 487 GB の空き容量) を備えた 8 DPU (32 vCPU、128 GB のメモリ) にマッピングされており、ワーカーごとに 1 つのエグゼキューターを提供します。ワークロードに含まれる変換、集約、結合、クエリへの要求が非常に厳しいジョブには、このワーカータイプをお勧めします。このワーカータイプは、ワーカータイプでサポートされているのと同じ AWS リージョンで、 AWS Glue バージョン 3.0 以降の Spark ETL G.4X ジョブでのみ使用できます。

    • Z.2X ワーカータイプでは、各ワーカーは 128 GB のディスク (約 120 GB の空き容量) を備えた 2 M-DPU (8 vCPU、64 GB のメモリ) にマッピングされており、オートスケーラーに基づき最大 8 個の Ray ワーカーを提供します。

  • SecurityConfiguration – UTF-8 文字列、1～255 バイト長、Single-line string pattern に一致。

    セッションで使用する SecurityConfiguration 構造の名前

  • GlueVersion – UTF-8 文字列、1～255 バイト長、Custom string pattern #20 に一致。

    AWS Glue バージョンによって、 が AWS Glue サポートする Apache Spark および Python のバージョンが決まります。は 2.0 より大きい GlueVersion 必要があります。

  • DataAccessId – UTF-8 文字列、1 ～ 36 バイト。

    セッションのデータアクセス ID。

  • PartitionId – UTF-8 文字列、1 ～ 36 バイト。

    セッションのパーティション ID。

  • Tags – キーと値のペアのマップ配列。50 ペア以下。

    各キーは UTF-8 文字列で、1～128 バイト長です。

    各値は UTF-8 文字列で、256 バイト長以下です。

    セッションに属するキーバリューペアのマップ (タグ)。

  • RequestOrigin – UTF-8 文字列、1～128 バイト長、「Custom string pattern #27」に一致。

    リクエストの送信元。

  • ProfileName – UTF-8 文字列、1～255 バイト長、Single-line string pattern に一致。

    セッションに関連付けられた AWS Glue 使用プロファイルの名前。

レスポンス

  • Session – セッション オブジェクト。

    レスポンス内のセッションオブジェクトを返します。

エラー

  • AccessDeniedException

  • IdempotentParameterMismatchException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

  • ValidationException

  • AlreadyExistsException

  • ResourceNumberLimitExceededException

StopSession アクション (Python: stop_session)

セッションを停止します。

リクエスト

  • Id – 必須: UTF-8 文字列、1～255 バイト長、「Single-line string pattern」に一致。

    停止するセッションの ID。

  • RequestOrigin – UTF-8 文字列、1～128 バイト長、「Custom string pattern #27」に一致。

    リクエストの送信元。

レスポンス

  • Id – UTF-8 文字列、1～255 バイト長、「Single-line string pattern」に一致。

    停止したセッションの ID を返します。

エラー

  • AccessDeniedException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

  • IllegalSessionStateException

  • ConcurrentModificationException

DeleteSession アクション (Python: delete_session)

セッションを削除します。

リクエスト

  • Id – 必須: UTF-8 文字列、1～255 バイト長、「Single-line string pattern」に一致。

    削除するセッションの ID。

  • RequestOrigin – UTF-8 文字列、1～128 バイト長、「Custom string pattern #27」に一致。

    セッション削除リクエスト送信元の名前。

レスポンス

  • Id – UTF-8 文字列、1～255 バイト長、「Single-line string pattern」に一致。

    削除したセッションの ID を返します。

エラー

  • AccessDeniedException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

  • IllegalSessionStateException

  • ConcurrentModificationException

GetSession アクション (Python: get_session)

セッションを取得します。

リクエスト

  • Id – 必須: UTF-8 文字列、1～255 バイト長、「Single-line string pattern」に一致。

    セッションの ID

  • RequestOrigin – UTF-8 文字列、1～128 バイト長、「Custom string pattern #27」に一致。

    リクエストの送信元。

レスポンス

  • Session – セッション オブジェクト。

    セッションオブジェクトはレスポンスで返されます。

エラー

  • AccessDeniedException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

ListSessions アクション (Python: list_sessions)

セッションのリストを取得します。

リクエスト

  • NextToken - UTF-8 文字列。400000 バイト長以下。

    次の結果セットのトークン、または追加の結果がない場合は null。

  • MaxResults – 1～1000 の数値 (整数)。

    結果の最大数。

  • Tags – キーと値のペアのマップ配列。50 ペア以下。

    各キーは UTF-8 文字列で、1～128 バイト長です。

    各値は UTF-8 文字列で、256 バイト長以下です。

    セッションに属するタグ。

  • RequestOrigin – UTF-8 文字列、1～128 バイト長、「Custom string pattern #27」に一致。

    リクエストの送信元。

レスポンス

  • Ids – UTF-8 文字列の配列。

    セッションの ID を返します。

  • Sessions – セッション オブジェクトの配列。

    セッションオブジェクトを返します。

  • NextToken - UTF-8 文字列。400000 バイト長以下。

    次の結果セットのトークン、または追加の結果がない場合は null。

エラー

  • AccessDeniedException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

RunStatement アクション (Python: run_statement)

ステートメントを実行します。

リクエスト

  • SessionId – 必須: UTF-8 文字列、1～255 バイト長、「Single-line string pattern」に一致。

    実行するステートメントのセッション ID。

  • Code – 必須: UTF-8 文字列。68,000 バイト長未満。

    実行するステートメントのコード。

  • RequestOrigin – UTF-8 文字列、1～128 バイト長、「Custom string pattern #27」に一致。

    リクエストの送信元。

レスポンス

  • Id – 数値 (整数)。

    実行されたステートメントの ID を返します。

エラー

  • EntityNotFoundException

  • AccessDeniedException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

  • ValidationException

  • ResourceNumberLimitExceededException

  • IllegalSessionStateException

CancelStatement アクション (Python: cancel_statement)

ステートメントをキャンセルします。

リクエスト

  • SessionId – 必須: UTF-8 文字列、1～255 バイト長、「Single-line string pattern」に一致。

    キャンセルするステートメントのセッション ID。

  • Id – 必須: 数値 (integer)。

    キャンセルするステートメントの ID。

  • RequestOrigin – UTF-8 文字列、1～128 バイト長、「Custom string pattern #27」に一致。

    ステートメントのキャンセルをリクエストした送信元。

レスポンス

  • 応答パラメータはありません。

エラー

  • AccessDeniedException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

  • IllegalSessionStateException

GetStatement アクション (Python: get_statement)

ステートメントを取得します。

リクエスト

  • SessionId – 必須: UTF-8 文字列、1～255 バイト長、「Single-line string pattern」に一致。

    ステートメントのセッション ID。

  • Id – 必須: 数値 (integer)。

    ステートメントの ID。

  • RequestOrigin – UTF-8 文字列、1～128 バイト長、「Custom string pattern #27」に一致。

    リクエストの送信元。

レスポンス

  • Statement – Statement オブジェクト。

    ステートメントを返します。

エラー

  • AccessDeniedException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

  • IllegalSessionStateException

ListStatements アクション (Python: list_statements)

セッションのステートメントをリスト表示します。

リクエスト

  • SessionId – 必須: UTF-8 文字列、1～255 バイト長、「Single-line string pattern」に一致。

    ステートメントのセッション ID。

  • RequestOrigin – UTF-8 文字列、1～128 バイト長、「Custom string pattern #27」に一致。

    ステートメントのリスト表示をリクエストした送信元。

  • NextToken - UTF-8 文字列。400000 バイト長以下。

    継続トークン (これが継続呼び出しの場合)。

応答

  • Statements – Statement オブジェクトの配列。

    ステートメントのリストを返します。

  • NextToken - UTF-8 文字列。400000 バイト長以下。

    一部のステートメントがまだ返されていない場合は、継続トークン。

エラー

  • AccessDeniedException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

  • IllegalSessionStateException