将工作负载从 Step F AWS Data Pipeline unctions 迁移

AWS 该 AWS Data Pipeline 服务于 2012 年推出。当时，客户想要一种服务，以允许他们使用各种计算选项在不同数据来源之间移动数据。随着时间的推移，数据传输需求发生了改变，因此满足这些需求的解决方案也随之改变。现在，您可以选择最符合您的业务要求的解决方案。例如，您可以执行以下任一操作：

• 使用 Step Functions 来编排多个 AWS 服务 之间的工作流程。

• 使用 Amazon Managed Workflows for Apache Airflow (Amazon MWAA) 来管理 Apache Airflow 的工作流程编排。

• AWS Glue 用于运行和编排 Apache Spark 应用程序。

您可以将的典型用例迁移到 Step F AWS Data Pipeline unctions 或 Amazon MWAA。 AWS Glue您选择的选项因 AWS Data Pipeline 上的当前工作负载而定。本主题介绍如何从迁移到 Step F AWS Data Pipeline unctions。

从 AWS Data Pipeline 迁移工作负载

Step Functions 是一项无服务器编排服务，可让您为业务关键型应用程序构建工作流。借助 Step Functions Workflow Studio，您可以构建工作流，并将其与 250 多个 AWS 服务中的 11,000 多个 API 操作集成。这 AWS 服务 包括亚马逊 EMR 和亚马逊 DynamoDB 等。 AWS Lambda您还可以使用 Step Functions 来编排数据处理管道、处理错误以及处理底层 AWS 服务的节流限制。您可以使用 AWS Glue 创建处理和发布机器学习模型、编排微服务以及处理提取、转换、加载 (ETL) 工作流。您还可以为需要人际互动的应用程序创建长时间运行的自动化工作流。

Step Functions 是由 AWS 提供的一项完全托管的服务。这意味着 AWS 会管理各种任务，例如维护基础架构、修补工作线程和管理操作系统版本更新。

当您的用例符合以下条件时，我们建议您从 Step Functions 迁移 AWS Data Pipeline 到 Step Functions：

• 您更喜欢无服务器、高度可用的工作流编排服务。

• 您需要一种按单个任务执行的粒度收费的解决方案。

• 您的工作负载涉及为其他多个工作负载编排任务 AWS 服务，例如 Amazon EMR、Lambda 或 DynamoD AWS Glue B。

• 您需要一个带有 drag-and-drop 可视化设计器的低代码解决方案来创建工作流程。该解决方案不需要学习陌生、复杂的编程概念。

• 你需要一项与超过 250 个 API 操作集成的服务 AWS 服务 ，涵盖超过 11,000 个 API 操作。此服务还必须与外部的自定义服务和活动集成 AWS。

Step Functions 和 AWS Data Pipeline 之间的概念映射

AWS Data Pipeline 和 Step Functions 有一些共同的概念。例如，要定义工作流程，可以在两者 AWS Data Pipeline 和 Step Functions 中使用 JSON 格式。在 Step Functions 中，您可以使用 Amazon States Language，这是一种基于 JSON 的结构化语言。您可以使用 Amazon States Language (ASL) 定义工作流，并在工作流的文本和可视化表示之间切换。这种基于 JSON 的格式有助于简化在源控制工具中存储工作流的过程。它还能帮助您管理工作流的多个版本、控制其访问权限或使用 CI/CD 方法自动编排。

下表描述了两种服务中使用的主要概念之间的映射。左侧的 “数据管道概念” 列出了中的概念 AWS Data Pipeline，而右侧的 “Step Functions 概念” 列出了 Step Functions 中的等效概念。

Data pipeline 概念	Step Functics 概念
管线	工作流
管道定义	Amazon States Language (ASL)
活动	状态 和 任务状态
实例	执行
Attempts	捕获器和重试器
管道计划	使用 Amazon EventBridge 计划程序执行任务 通过 EventBridge 管道触发的事件
管道表达式和函数	内置函数 使用服务集成的 Lambda 函数

Step Functions 示例项目

有关 Step Functions 的简介，请参阅以下视频：

以下列表概述了一些示例项目，这些项目使用 Step Functions 实现了最常见的 AWS Data Pipeline 用例。您可以使用这些示例项目作为参考，从 Step Functions 迁移 AWS Data Pipeline 到 Step Functions。您也可以将它们用作样板，根据自己的用例构建自己的工作流并与支持的 AWS 服务集成。

• 管理 Amazon EMR 任务

• 在 Amazon EMR Serverless 上运行数据处理任务

• 正在运行 Hive/Pig/Hadoop 任务

• 查询大型数据集（亚马逊 Athena、亚马逊 S3、亚马逊 SN AWS Glue S）

• 使用 Amazon Redshift 运行 ETL/ELT 工作流程

• 编排爬虫 AWS Glue

• 使用 Step Functions 运行 Shell 脚本

要了解有关 Step Functions 的更多信息，请参阅以下主题和资源：

• Step Functions 教程

• Step Functions 的示例项目

• AWS Step Functions 研讨会

定价比较

AWS Data Pipeline 按管道数量及其使用水平定价。您每天运行一次以上（高频率）的活动每项活动每月花费 1 美元。您每天运行一次或以下（低频率）的活动每项活动每月花费 0.6 美元。非活跃管道的价格为每条管道 1 美元。有关定价的更多信息，请参阅 AWS Data Pipeline 定价页面。

Step Functions 有两种类型的工作流：标准工作流和快速工作流。每种工作流类型都有不同的定价模式。这种比较基于标准工作流程，因为它最符合中的常见用例 AWS Data Pipeline。标准工作流的定价为每 1000 个状态转换 0.025 美元。不活动的状态机无需付费；您只需为使用的状态机付费。有关定价的更多信息，请参阅 AWS Step Functions 定价页面。