仕事 (レガシー)
スクリプトには、抽出、変換、ロード (ETL) ワークを実行するコードが含まれます。独自のスクリプトを提供することもできますし、お客様のガイダンスで AWS Glue がスクリプトを生成することもできます。独自のスクリプトの作成については、「独自のカスタムスクリプトの提供」を参照してください。
スクリプトは、AWS Glue コンソールで編集できます。スクリプトを編集する場合、ソース、ターゲット、および変換を追加することができます。
スクリプトを編集するには
-
AWS Management Consoleにサインインし、AWS Glue コンソール (https://console.aws.amazon.com/glue/
) を開きます。その後 [Jobs] (ジョブ) タブを選択します。 -
リストでジョブを選択し、次に [Action] (アクション)、[Edit script] (スクリプトの編集) を選択してスクリプトエディタを開きます。
ジョブ詳細ページからスクリプトエディタにアクセスすることもできます。[Script] (スクリプト) タブを選択し、次に [Edit script] (スクリプトの編集) を選択します。
スクリプトエディタ
AWS Glue スクリプトエディタを使用して、スクリプトのソース、ターゲット、変換を挿入、変更、および削除できます。スクリプトエディタにはスクリプトとダイアグラムの両方が表示され、データの流れを可視化しやすくなります。
スクリプトのダイアグラムを作成するには、[ダイアグラムの生成] を選択します。AWS Glue は #＃ で始まるスクリプト内の注釈行を使用してダイアグラムをレンダリングします。ダイアグラムでスクリプトを正しく表すために、注釈のパラメータと Apache Spark コードのパラメータの同期を保つ必要があります。
スクリプトエディタを使用して、スクリプトのカーソルが置かれている任意の場所にコードテンプレートを追加することができます。エディタの上部で、次のオプションから選択します。
-
ソーステーブルをスクリプトに追加するには、[Source] (ソース) を選択します。
-
ターゲットテーブルをスクリプトに追加するには、[Target] (ターゲット) を選択します。
-
ターゲット位置をスクリプトに追加するには、[Target location] (ターゲット位置) を選択します。
-
変換をスクリプトに追加するには、[Transform] (変換) を選択します。スクリプトで呼び出される関数については、「PySpark で AWS Glue ETL スクリプトをプログラムする」を参照してください。
-
スピゴット変換をスクリプトに追加するには、[Spigot] (スピゴット) を選択します。
挿入されたコードで、注釈および Apache Spark コード両方の parameters を変更します。たとえば、スピゴット変換を追加したら、path が @args 注釈行および output コード行の両方で置き換えられていることを検証します。
[Logs] (ログ) タブでは、実行されるジョブに関連するログが表示されます。最新の 1,000 行が表示されます。
[Schema] (スキーマ) タブでは、Data Catalog で使用可能な場合、選択されたソースとターゲットのスキーマが表示されます。
