使用工作執行器 - AWS Data Pipeline

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用工作執行器

Task Runner 是一種任務代理程式應用程式,可輪詢 AWS Data Pipeline 排定的任務,並在 Amazon EC2 執行個體、Amazon EMR 叢集或其他計算資源上執行這些任務,並以報告狀態的方式回報狀態。根據您的應用程式,您可以選擇:

  • 允許 AWS Data Pipeline 為您安裝和管理一個或多個任務運行器應用程序。啟動管線時,會自動建立活動 RunSon 欄位所參照的預設Ec2InstanceEmrCluster物件。 AWS Data Pipeline 負責在 EC2 執行個體或 EMR 叢集的主節點上安裝任務執行器。在此模式中, AWS Data Pipeline 可以為您執行大部分執行個體或叢集管理。

  • 在您管理的資源上執行所有或一部分的管道。潛在資源包括長時間執行的 Amazon EC2 執行個體、Amazon EMR 叢集或實體伺服器。您幾乎可以在任何地方安裝任務運行器(可以是任務運行器或您自己設計的自定義任務代理),前提是它可以與 AWS Data Pipeline Web 服務進行通信。在此模式中,您假設幾乎完全控制了使用哪些資源以及它們的管理方式,並且必須手動安裝和配置 Task Runner。若要執行此作業,請使用本節中的程序,如使用任務運行器對現有資源執行工作中所述。