管道组件、实例和尝试 - AWS Data Pipeline

管道组件、实例和尝试

有三种类型的项与计划管道关联:

  • 管道组件 - 管道组件提供管道的业务逻辑,由管道定义的不同部分来表示。管道组件指定数据源、活动、计划和工作流的先决条件。它们可以从父组件继承属性。组件之间的关系由引用来定义。管道组件定义数据管理规则。

  • 实例 - 当 AWS Data Pipeline 运行管道时,它编译管道组件以创建一组可操作的实例。每个实例包含用于执行特定任务的所有信息。完整的实例集是管道的待办事项列表。AWS Data Pipeline 将实例递交给任务运行程序来处理。

  • 尝试 - 为了提供稳定的数据管理,AWS Data Pipeline 会重试失败的操作。它会继续执行,直到任务达到允许的最大重试次数。尝试对象跟踪各种尝试、结果和故障原因 (如果适用)。实质上,它是一个带有计数器的实例。AWS Data Pipeline 使用与上一次尝试相同的资源来执行重试,例如 Amazon EMR 集群和 EC2 实例。

注意

重试失败的任务是容错战略的一个重要组成部分,AWS Data Pipeline 定义提供条件和阈值来控制重试。但是,重试次数太多可能会延迟不可恢复故障的检测,因为 AWS Data Pipeline 在用尽您指定的全部重试次数之前不报告故障。如果运行在 AWS 资源上,过多的重试可能会产生额外的费用。因此,对于您用来控制重试次数的 AWS Data Pipeline 的默认设置以及相关设置,请仔细考虑什么时候才适合超过该设置。


                        AWS Data Pipeline 组件、实例和尝试