將工作負載從移轉 AWS Data Pipeline 至 Step Functions - AWS Step Functions
移轉工作量概念映射Step Functions 範例專案價格比較

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

將工作負載從移轉 AWS Data Pipeline 至 Step Functions

AWS 於二零一二年推出該 AWS Data Pipeline 服務。當時，客戶希望能夠使用各種運算選項在不同資料來源之間移動資料的服務。隨著數據傳輸需求隨著時間的推移而改變，因此可以滿足這些需求。您現在可以選擇最符合您業務需求的解決方案。例如，您可以執行下列任何操作：

  • 使用 Step Functions 來協調多個 AWS 服務之間的工作流程。

  • 使用 Amazon 管理的 Apache 氣流工作流程 (Amazon MWAA) 來管理 Apache 氣流的工作流程協調流程。

  • 用 AWS Glue 於執行和協調 Apache 星火應用程式。

您可以將的典型使用案例遷移 AWS Data Pipeline 到 Step Functions 或 Amazon MWAA。 AWS Glue您選擇的選項取決於您目前的工作負載 AWS Data Pipeline。本主題說明如何從移轉 AWS Data Pipeline 至 Step Functions。

從移轉工作負載 AWS Data Pipeline

Step Functions 是無伺服器協調服務，您可以在其中為關鍵業務應用程式建置工作流程。透過 Step 函式的工作流程 Studio，您可以建置工作流程，並將它們與超過 250 個 11,000 個 API 動作整合。 AWS 服務這包括 AWS 服務 如 AWS Lambda Amazon EMR 和 Amazon DynamoDB。您也可以使用 Step Functions 來協調資料處理管線、處理錯誤，以及處理基礎上的節流限制。 AWS 服務您可以建立工作流程，以處理和發佈機器學習模型、協調微服務，以及使用來處理擷取、轉換和載入 (ETL) 工作流程。 AWS Glue您也可以為需要人工互動的應用程式建立長時間執行的自動化工作流程。

Step Functions 是由提供的全受管服務 AWS。這表示您可以AWS 管理諸如維護基礎結構、修補 Worker 以及管理作業系統版本更新等工作。

當您的使用案例符合下列條件時，建議您從「步驟函數」移轉 AWS Data Pipeline 至「Step Functions」：

  • 您偏好無伺服器、高可用性的工作流程協調服務。

  • 您需要以單一工作執行的精細程度收費的解決方案。

  • 您的工作負載涉及為多個其他工作負載協調任務 AWS 服務，例如 Amazon EMR AWS Glue、Lambda 或 DynamoDB。

  • 您需要具有 drag-and-drop 視覺化設計工作流程建立的低程式碼解決方案。這個解決方案不需要學習陌生、複雜的程式設計概念。

  • 您需要整合超過 250 個涵蓋 11,000 AWS 服務 個 API 動作的服務。此服務還必須與以外的自訂服務和活動整合 AWS。

Step Functions 和之間的概念映射 AWS Data Pipeline

AWS Data Pipeline 和 Step Functions 共用一些共同的概念。例如，若要定義工作流程，您可以在 AWS Data Pipeline 和 Step Functions 中使用 JSON 格式。在 Step Functions 中，您可以使用Amazon States Language，這是一種基於 JSON 的結構化語言。您可以使用 Amazon 州語言 (ASL) 定義工作流程，並在工作流程的文字和視覺表示之間切換。這種 JSON 格式有助於簡化將工作流程儲存在原始檔控制工具中。它還可以幫助您管理多個版本的工作流程，控制其訪問權限，或使用 CI/CD 方法自動化其協調。

下表說明這兩個服務中使用的主要概念之間的對應。左側的「資料管線概念」欄會列出中的概念 AWS Data Pipeline，而右邊的「Step Functions 數」概念欄則列出「Step Functions 數」中的對等概念。

資料管線概念 Step Functions 概念
管道 工作流
管道定義 Amazon States Language(ASL)
活動 狀態 和 任務狀態
執行個體 執行
Attempts 捕手和取回器
管線排程
管線運算式和函數

Step Functions 範例專案

如需 Step Functions 的簡介，請參閱下列視訊：

下列清單概述了一些使用 Step Functions 實作最常見 AWS Data Pipeline 使用案例的範例專案。您可以使用這些範例專案做為從「步驟函數」移轉 AWS Data Pipeline 到「Step Functions」的參考。您也可以將它們用作樣板，以建立自己的工作流程，並 AWS 服務根據您的使用案例與支援的工作流程整合。

若要深入了解 Step Functions，請參閱下列主題與資源：

價格比較

AWS Data Pipeline 按管道數量及其使用級別定價。每天執行一次以上 (高頻率) 的活動定價為每月每個活動 $1。每天執行一次或更少 (低頻率) 的活動定價為每月每個活動 $0.60。非作用中管道的價格為每個管線 1 美元。如需有關定價的詳細資訊，請參閱AWS Data Pipeline 定價頁面。

Step Functions 有兩種類型的工作流程：標準和快速。每個工作流程類型都有不同的定價模式。此比較是以「標準」工作流程為基礎，因為它最符合的常見使用案例 AWS Data Pipeline。標準工作流程的價格為每 1000 個狀態轉換 0.025 美元。非作用中的狀態機器不需要任何費用；您只需按使用量付費。如需有關定價的詳細資訊，請參閱AWS Step Functions 定價頁面。