AWS Data Pipeline não está mais disponível para novos clientes. Os clientes existentes do AWS Data Pipeline podem continuar usando o serviço normalmente. Saiba mais
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Copiar dados CSV entre buckets do Amazon S3 usando o AWS Data Pipeline
Depois de ler O que é AWS Data Pipeline? e decidir que deseja usar para AWS Data Pipeline automatizar a movimentação e a transformação de seus dados, é hora de começar a criar pipelines de dados. Para ajudar você a entender como o AWS Data Pipeline funciona, mostraremos o passo a passo de uma tarefa simples.
Este tutorial orienta você no processo de criação de um pipeline de dados para copiar dados de um bucket do Amazon S3 para outro e, em seguida, enviar uma notificação do Amazon SNS após a conclusão com êxito da atividade de cópia. Você usa uma EC2 instância gerenciada por AWS Data Pipeline para essa atividade de cópia.
Objetos de pipeline
O pipeline usa os seguintes objetos:
- CopyActivity
-
A atividade que o AWS Data Pipeline executa neste pipeline (cópia de dados CSV de um bucket do Amazon S3 para outro).
Importante
Há limitações ao usar o formato de arquivo CSV com
CopyActivityeS3DataNode. Para obter mais informações, consulte CopyActivity. - Programação
-
A data de início, hora e recorrência dessa atividade. Se preferir, você pode especificar a data e a hora de término.
- Ec2Resource
-
O recurso (uma EC2 instância) AWS Data Pipeline usado para realizar essa atividade.
- S3 DataNode
-
Os nós de entrada e saída (buckets do Amazon S3) deste pipeline.
- SnsAlarm
-
Ação que o AWS Data Pipeline precisa tomar quando as condições especificadas são atendidas (envio de notificações do Amazon SNS para um tópico após a conclusão bem-sucedida da tarefa).
