AWS Data Pipeline não está mais disponível para novos clientes. Os clientes existentes do AWS Data Pipeline podem continuar usando o serviço normalmente. Saiba mais
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Trabalhar com o Task Runner
O Task Runner é um aplicativo de agente de tarefas que pesquisa o AWS Data Pipeline para tarefas agendadas e as executa em instâncias do Amazon EC2, clusters do Amazon EMR ou outros recursos computacionais informando o status. Dependendo do seu aplicativo, você pode optar pelo seguinte:
-
Permitir que o AWS Data Pipeline instale e gerencie um ou mais aplicativos do Task Runner para você. Quando um pipeline está ativado, o objeto padrão
Ec2InstanceouEmrClusterreferenciado por um campo de atividade runsOn é criado automaticamente. O AWS Data Pipeline cuida da instalação do Task Runner em uma instância do EC2 ou no nó principal de um cluster do EMR. Nesse padrão, o AWS Data Pipeline pode fazer a maior parte do gerenciamento da instância ou do cluster para você. -
Executar todo o pipeline ou partes dele nos recursos que você gerencia. Os recursos potenciais incluem uma instância do Amazon EC2 de longa duração, um cluster do Amazon EMR ou um servidor físico. Você pode instalar um executor de tarefas (que pode ser o Task Runner ou um agente de tarefas personalizado do seu próprio projeto) em quase todos os locais, desde que ele consiga se comunicar com o serviço da web do AWS Data Pipeline. Neste padrão, você tem controle quase completo sobre quais recursos são usados e como eles são gerenciados. Além disso, é necessário instalar e configurar o Task Runner manualmente. Para fazer isso, siga os procedimentos desta seção, conforme descrito em Executar trabalho em recursos existentes usando o Task Runner.
