Copiar dados CSV entre buckets do Amazon S3 usando o AWS Data Pipeline
Depois de ler O que é o AWS Data Pipeline? e decidir que você deseja usar o AWS Data Pipeline para automatizar o movimento e a transformação dos seus dados, comece a criar os pipelines de dados. Para ajudar você a entender como o AWS Data Pipeline funciona, mostraremos o passo a passo de uma tarefa simples.
Este tutorial orienta você no processo de criação de um pipeline de dados para copiar dados de um bucket do Amazon S3 para outro e, em seguida, enviar uma notificação do Amazon SNS após a conclusão com êxito da atividade de cópia. Para esta atividade de cópia, use uma instância do EC2 gerenciada pelo AWS Data Pipeline.
Objetos de pipeline
O pipeline usa os seguintes objetos:
- CopyActivity
-
A atividade que o AWS Data Pipeline executa neste pipeline (cópia de dados CSV de um bucket do Amazon S3 para outro).
Importante
Há limitações ao usar o formato de arquivo CSV com
CopyActivityeS3DataNode. Para obter mais informações, consulte CopyActivity. - Schedule
-
A data de início, hora e recorrência dessa atividade. Se preferir, você pode especificar a data e a hora de término.
- Ec2Resource
-
O recurso (uma instância do EC2) que o AWS Data Pipeline utiliza para executar esta atividade.
- S3DataNode
-
Os nós de entrada e saída (buckets do Amazon S3) deste pipeline.
- SnsAlarm
-
Ação que o AWS Data Pipeline precisa tomar quando as condições especificadas são atendidas (envio de notificações do Amazon SNS para um tópico após a conclusão bem-sucedida da tarefa).
