AWS Data Pipeline não está mais disponível para novos clientes. Clientes existentes da AWS Data Pipeline pode continuar usando o serviço normalmente. Saiba mais
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Definição de pipeline
Uma definição de pipeline é como você comunica sua lógica de negócios com AWS Data Pipeline. Ela contém as seguintes informações:
-
Nomes, locais e formatos das suas fontes de dados
-
Atividades que transformam os dados
-
A programação dessas atividades
-
Recursos que executam suas atividades e precondições
-
Precondições que precisam ser atendidas antes que as atividades sejam programadas
-
Maneiras de alertar você com atualizações de status à medida que a execução do pipeline prossegue
A partir da definição do pipeline, AWS Data Pipeline determina as tarefas, as agenda e as atribui aos executores de tarefas. Se uma tarefa não for concluída com êxito, AWS Data Pipeline tente novamente a tarefa de acordo com suas instruções e, se necessário, a reatribua a outro executor de tarefas. Se a tarefa falhar repetidamente, você poderá configurar o pipeline para lhe notificar.
Por exemplo, na definição do seu pipeline, você pode especificar que os arquivos de log gerados pelo seu aplicativo sejam arquivados a cada mês, para o ano de 2013, em um bucket do Amazon S3. O AWS Data Pipeline criará 12 tarefas, cada uma copiando os dados correspondes a um mês, independentemente de o mês conter 30, 31, 28 ou 29 dias.
Você pode criar uma definição de pipeline das seguintes formas:
-
Graficamente, usando o console AWS Data Pipeline
-
Textualmente gravando um arquivo JSON no formato usado pela interface de linha de comando
-
Programaticamente chamando o serviço web com um dos SDKs da AWS ou o a API do AWS Data Pipeline
Uma definição de pipeline pode conter os seguintes tipos de componentes.
Componentes do pipeline
- Nós de dados
-
O local dos dados de entrada para uma tarefa ou o local em que os dados de saída serão armazenados.
- Atividades
-
Uma definição do trabalho a ser realizado em uma programação usando um recurso computacional e nós de dados de entrada e saída.
- Precondições
-
Uma instrução condicional que precisa ser verdadeira para que uma ação possa ser executada.
- Recursos
-
O recurso computacional que realiza o trabalho definido por esse pipeline.
- Ações
-
Uma ação que é acionada quando condições especificadas são atendidas, como a falha de uma atividade.
Para ter mais informações, consulte Sintaxe do arquivo de definição do pipeline.
