Operación de Task Runner - AWS Data Pipeline

AWS Data Pipeline ya no está disponible para nuevos clientes. Los clientes actuales de AWS Data Pipeline pueden seguir utilizando el servicio con normalidad. Más información

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Operación de Task Runner

Task Runner es una aplicación agente de tareas que sondea a AWS Data Pipeline para detectar tareas programadas y las ejecuta en instancias de Amazon EC2, clústeres de Amazon EMR u otros recursos informáticos e informa de su estado mientras lo hace. En función de la aplicación, puede elegir:

  • Permitir que AWS Data Pipeline instale y administre una o más aplicaciones de Task Runner automáticamente. Cuando se activa una canalización, se crea automáticamente el objeto Ec2Instance o EmrCluster predeterminado al que hace referencia el campo runsOn de una actividad. AWS Data Pipeline se encarga de instalar Task Runner en una instancia EC2 o en el nodo maestro de un clúster de EMR. En este caso, AWS Data Pipeline puede hacer automáticamente la mayor parte de la administración de la instancia o el clúster.

  • Ejecutar la totalidad o partes de una canalización en recursos que usted administra. Los recursos potenciales incluyen una instancia Amazon EC2 de ejecución prolongada, un clúster de Amazon EMR o un servidor físico. Puede instalar una aplicación de ejecución de tareas (que puede ser Task Runner o un agente de tareas personalizado que usted haya ideado) casi en cualquier lugar, siempre que pueda comunicarse con el servicio web de AWS Data Pipeline. En este caso, usted asume un control casi completo sobre los recursos que se utilizan y cómo se administran, y debe instalar y configurar manualmente Task Runner. Para ello, utilice los procedimientos de esta sección, tal y como se describe en Ejecución de trabajo en recursos existentes mediante Task Runner.