Operación de Task Runner - AWS Data Pipeline

AWS Data Pipeline ya no está disponible para nuevos clientes. Clientes actuales de AWS Data Pipeline pueden seguir utilizando el servicio con normalidad. Más información

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Operación de Task Runner

Task Runner es una aplicación de agente de tareas que sondea las AWS Data Pipeline tareas programadas y las ejecuta en EC2 instancias de Amazon, EMR clústeres de Amazon u otros recursos computacionales, informando del estado a medida que lo hace. En función de la aplicación, puede elegir:

  • Permite AWS Data Pipeline instalar y administrar una o más aplicaciones de Task Runner por usted. Cuando se activa una canalización, se crea automáticamente el EmrCluster objeto predeterminado Ec2Instance o el objeto al que hace referencia un runsOn campo de actividad. AWS Data Pipeline se encarga de instalar Task Runner en una EC2 instancia o en el nodo principal de un EMR clúster. De acuerdo con este patrón, AWS Data Pipeline puede realizar la mayor parte de la administración de instancias o clústeres por usted.

  • Ejecutar la totalidad o partes de una canalización en recursos que usted administra. Los recursos potenciales incluyen una EC2 instancia de Amazon de larga ejecución, un EMR clúster de Amazon o un servidor físico. Puede instalar un ejecutor de tareas (que puede ser un ejecutor de tareas o un agente de tareas personalizado creado por usted) prácticamente en cualquier lugar, siempre que pueda comunicarse con el servicio AWS Data Pipeline web. En este caso, usted asume un control casi completo sobre los recursos que se utilizan y cómo se administran, y debe instalar y configurar manualmente Task Runner. Para ello, utilice los procedimientos de esta sección, tal y como se describe en Ejecución de trabajo en recursos existentes mediante Task Runner.