任务运行程序线程和先决条件 - AWS Data Pipeline

任务运行程序线程和先决条件

任务运行程序对每个任务、活动和先决条件使用一个线程池。--tasks 的默认设置为 2,这意味着,从任务池中分配 2 个线程,每个线程轮询 AWS Data Pipeline 服务以查找新任务。因此,--tasks 是一个性能优化属性,可用于帮助优化管道吞吐量。

先决条件的管道重试逻辑在任务运行程序中实施。将分配两个先决条件线程以轮询 AWS Data Pipeline 来获取先决条件对象。任务运行程序采用您在先决条件上定义的先决条件对象 retryDelaypreconditionTimeout 字段。

在许多情况下,减少先决条件轮询超时和重试次数有助于提高应用程序的性能。同样,具有长时间运行的先决条件的应用程序可能需要增大超时和重试值。有关先决条件对象的更多信息,请参阅先决条件