任务运行程序线程和先决条件 - AWS Data Pipeline

AWS Data Pipeline 不再向新客户提供。的现有客户 AWS Data Pipeline 可以继续照常使用该服务。了解更多

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

任务运行程序线程和先决条件

任务运行程序对每个任务、活动和先决条件使用一个线程池。的默认设置--tasks为 2,这意味着从任务池中分配了两个线程,每个线程都会轮询 AWS Data Pipeline 服务以获取新任务。因此,--tasks 是一个性能优化属性,可用于帮助优化管道吞吐量。

先决条件的管道重试逻辑在任务运行程序中实施。分配了两个前提条件线程来轮 AWS Data Pipeline 询前提条件对象。Task Runner 使用您在前提条件中定义的前提条件对象retryDelaypreconditionTimeout字段。

在许多情况下,减少先决条件轮询超时和重试次数有助于提高应用程序的性能。同样,具有长时间运行的先决条件的应用程序可能需要增大超时和重试值。有关先决条件对象的更多信息,请参阅先决条件