管道组件、实例和尝试 - AWS Data Pipeline

AWS Data Pipeline 不再向新客户提供。的现有客户 AWS Data Pipeline 可以继续照常使用该服务。了解更多

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

管道组件、实例和尝试

有三种类型的项与计划管道关联：

  • 管道组件 - 管道组件提供管道的业务逻辑，由管道定义的不同部分来表示。管道组件指定数据源、活动、计划和工作流的先决条件。它们可以从父组件继承属性。组件之间的关系由引用来定义。管道组件定义数据管理规则。

  • 实例- AWS Data Pipeline 运行管道时，它会编译管道组件以创建一组可操作的实例。每个实例包含用于执行特定任务的所有信息。完整的实例集是管道的待办事项列表。 AWS Data Pipeline 将实例分发给任务运行器进行处理。

  • 尝试 - 为了提供稳定的数据管理， AWS Data Pipeline 会重试失败的操作。它会继续执行，直到任务达到允许的最大重试次数。尝试对象跟踪各种尝试、结果和故障原因 (如果适用)。本质上，它是带有计数器的实例。 AWS Data Pipeline 使用与之前尝试相同的资源（例如 Amazon EMR 集群和 EC2 实例）执行重试。

注意

重试失败的任务是容错战略的一个重要组成部分， AWS Data Pipeline 定义提供条件和阈值来控制重试。但是，重试次数太多可能会延迟不可恢复故障的检测，因为 AWS Data Pipeline 在用尽您指定的全部重试次数之前不报告故障。如果运行在 AWS 资源上，过多的重试可能会产生额外的费用。因此，请仔细考虑何时应超出用于控制重试和相关设置的 AWS Data Pipeline 默认设置。

AWS Data Pipeline 组件、实例和尝试