Task Runnerのスレッドと前提条件

Task Runnerでは、タスク、アクティビティ、前提条件ごとに1つのスレッドプールが使用されます。--tasksのデフォルト値は2です。これは、タスクプールから2つのスレッドが割り当てられ、各スレッドがAWS Data Pipelineサービスに対して新しいタスクのポーリングを行うことを意味します。つまり、--tasksはパフォーマンスチューニング用の属性であり、パイプラインのスループット最適化のために使用できます。

前提条件のパイプライン再試行ロジックはTask Runnerで実行されます。AWS Data Pipelineに前提条件オブジェクトをポーリングするために2つの前提条件スレッドが割り当てられます。Task Runnerでは、お客様が前提条件で定義した前提条件オブジェクトのretryDelayフィールドとpreconditionTimeoutフィールドが優先されます。

多くの場合、前提条件のポーリングのタイムアウトと再試行数の値を小さくすると、アプリケーションのパフォーマンスが向上する場合があります。同様に、前提条件が長時間実行されるアプリケーションでは、タイムアウトと再試行数の値を大きくする必要がある可能性があります。前提条件オブジェクトの詳細については、「前提条件」を参照してください。