でのワークフローの手動作成と構築AWS Glue - AWS接着語

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

でのワークフローの手動作成と構築AWS Glue

次の資料を使用できます。AWS Glueコンソールを使用して、ワークフローを一度に 1 つのノードずつ手動で作成し、構築します。

ワークフローは、ジョブ、クローラ、トリガーで構成されます。ワークフローを手動で作成する前に、ワークフローに含めるジョブとクローラを作成します。ワークフローの場合は、オンデマンドで実行するクローラを指定するのが最適です。トリガーは、ワークフローの構築中に新規作成できます。または、既存のトリガーをワークフロー内に 複製することもできます。トリガーをクローンすると、トリガーに関連付けられたすべてのカタログオブジェクト (トリガーを起動するジョブまたはクローラ、トリガーが開始するジョブまたはクローラ) がワークフローに追加されます。

ワークフローを構築するには、ワークフローのグラフにトリガーを追加し、トリガーごとに監視対象のイベントやアクションを定義します。まず、開始トリガーとしてオンデマンドトリガーまたはスケジュールトリガーを追加し、次にイベント (条件付き) トリガーを追加してグラフを完成します。

ステップ 1: ワークフローの作成

  1. にサインインします。AWS Management Console[] を開くにはAWS Glueコンソールhttps://console.aws.amazon.com/glue/

  2. ナビゲーションペインの [ETL] で、[ワークフロー] を選択します。

  3. [ワークフロー] を選択し、[Add a new ETL workflow (新しい ETL ワークフローの追加)] フォームに入力します。

    オプションとして追加したデフォルトの実行プロパティは、ワークフローのすべてのジョブに対する引数として使用できます。詳細については、「」を参照してくださいワークフローの実行プロパティの取得と設定AWS接着語

  4. [Add workflow (ワークフローの追加)] を選択します。

    新しいワークフローが [ワークフロー] ページのリストに表示されます。

ステップ 2: 開始トリガーの追加

  1. [ワークフロー] ページで、新しいワークフローを選択します。次に、ページの下部にあるグラフタブが選択されています。

  2. [トリガーを追加] を選択し、[トリガーを追加] ダイアログボックスで、次のいずれかの操作を行います。

    • [Clone existing (既存の複製)] を選択し、複製するトリガーを選択します。次に、[Add (追加)] を選択します。

      トリガーがグラフに表示されます。トリガーで監視するジョブやクローラおよびトリガーで開始するジョブやクローラも表示されます。

      トリガーを間違えて選択した場合は、そのトリガーをグラフで選択し、[削除] を選択します。

    • [Add new (新規追加)] を選択し、[トリガーを追加] フォームに入力します。

      1. を使用する場合トリガータイプ[] で、Schedule,オンデマンド, またはEventBridge

        トリガータイプSchedule[] で、[] ダイアログボックスの[Frequency (頻度)]オプション. 選択Custom「」にcron

        トリガータイプEventBridge「」にイベント数(バッチサイズ)を入力し、オプションで時間遅延(バッチウィンドウ) をクリックします。省略すると時間遅延に設定されている場合、バッチウィンドウのデフォルトは 15 分です。詳細については、「」を参照してくださいAWS Glue のワークフローの概要

      2. [Add] (追加) をクリックします。

      トリガーがグラフ上に表示されます。プレースホルダーノード ([Add node (ノードの追加)] というラベルが付いたノード) も一緒に表示されます。以下の例では、開始トリガーはMonth-close1

      この時点では、トリガーは未保存です。

      
                                2 つの長方形のノード (トリガーとプレースホルダーノード) を示すグラフ。トリガーノードからプレースホルダーノードへ向かう矢印も表示されています。
  3. 新しいトリガーを追加した場合は、以下のステップを実行します。

    1. 次のいずれかを行ってください。

      • プレースホルダーノード ([Add node (ノードの追加]) を選択します。

      • 開始トリガーが選択されていることを確認し、 [アクション] メニューの [Add jobs/crawlers to trigger (トリガーにジョブ/クローラを追加)] を選択します。

    2. Add job(s) and crawler(s) to trigger (トリガーにジョブおよびクローラを追加)] ダイアログボックスで、1 つ以上のジョブまたはクローラを選択し、 [追加] を選択します。

      トリガーが保存されます。選択したジョブまたはクローラが、トリガーからのコネクタと共にグラフに表示されます。

      ジョブやクローラを間違って追加した場合は、トリガーまたはコネクタを選択して、[削除] を選択できます。

ステップ 3: トリガーの追加

次のタイプのトリガーを追加して、ワークフローの構築を続けます。イベント。グラフのキャンバスを拡大または縮小するには、グラフの右側にあるアイコンを使用します。追加するトリガーごとに、以下の手順を実行します。

注記

ワークフローを保存するアクションはありません。最後のトリガーを追加し、アクションをトリガーに割り当てると、ワークフローが完了し、保存されます。後でいつでも戻って、さらにノードを追加することができます。

  1. 次のいずれかを行ってください。

    • 既存のトリガーを複製するには、グラフで選択されているノードがないことを確認し、 [アクション] メニューの [トリガーを追加] を選択します。

    • グラフ上の特定のジョブまたはクローラを監視する新しいトリガーを追加するには、そのジョブまたはクローラのノードを選択し、[トリガーを追加] プレースホルダーノードを選択します。

      後のステップで、このトリガーで監視するジョブやクローラをさらに追加できます。

  2. [トリガーを追加] ダイアログボックスで、次のいずれかの操作を行います。

    • [Add new (新規追加)] を選択し、[トリガーを追加] フォームに入力します。次に、[Add (追加)] を選択します。

      トリガーがグラフに表示されます。後のステップでトリガーを完了します。

    • [Clone existing (既存の複製)] を選択し、複製するトリガーを選択します。次に、[Add (追加)] を選択します。

      トリガーがグラフに表示されます。トリガーで監視するジョブやクローラおよびトリガーで開始するジョブやクローラも表示されます。

      トリガーを間違って選択した場合は、そのトリガーをグラフで選択し、[削除] を選択します。

  3. 新しいトリガーを追加した場合は、以下のステップを実行します。

    1. 新しいトリガーを選択します。

      次のグラフが表示され、トリガータイプDe-dupe/fix succeededが選択され、プレースホルダーノードがイベント用 (1) とアクション用 (2) に表示されます。

      
                                複数のノードを示すグラフ。そのうちの 2 つは、数字の 1 と 2 の吹き出しが付いたプレースホルダーノードです。
    2. (トリガーでイベントを既に監視しており、監視対象のジョブやクローラをを追加する場合のオプション) 監視対象イベントのプレースホルダーノードを選択し、[Add job(s) and crawler(s) to watch (監視するジョブやクローラの追加)] ダイアログボックスで 1 つ以上のジョブまたはクローラを選択します。監視対象のイベント (成功、失敗など) を選択して、 [追加] を選択します。

    3. トリガーが選択されていることを確認し、アクション用のプレースホルダーノードを選択します。

    4. [Add job(s) and crawler(s) to watch (監視対象のジョブやクローラの追加)] ダイアログボックスで 1 つ以上のジョブまたはクローラを選択し、[追加] を選択します。

      選択したジョブやクローラがグラフに表示されます。トリガーからのコネクタも表示されます。