Crie pipelines a partir de modelos de Data Pipeline usando a CLI
O Data Pipeline oferece diversas definições pré-configuradas de pipeline, conhecidas como modelos. Os modelos podem ser usados para começar a trabalhar com o AWS Data Pipeline rapidamente. Esses modelos estão disponíveis em um bucket público no local do Amazon S3: s3://datapipeline-us-east-1/templates/. Esses modelos predefinidos são criados para obter casos de uso específicos e podem ser usados para criar pipelines. Você pode usar aws s3 ls --recursive "s3://datapipeline-us-east-1/templates/" para listar todos os modelos disponíveis.
Crie um pipeline a partir de um modelo usando a CLI
Suponha que você queira criar um pipeline que exporte uma tabela do DynamoDB para o Amazon S3. O modelo a ser usado neste caso pode ser encontrado em: s3://datapipeline-us-east-1/templates/DynamoDB Templates/Export DynamoDB table to S3.json.
Para baixar o modelo em JSON e criar um pipeline usando a CLI
-
Faça o download do modelo usando a CLI do
aws s3 cpou cURL. Por exemplo:aws s3 cp "s3://datapipeline-us-east-1/templates/DynamoDB Templates/Export DynamoDB table to S3.json" <destination directory> -
Faça as alterações no modelo baixado conforme necessário. Por exemplo, para usar a versão mais recente do EMR, altere o campo
releaseLabelno objetoEmrClusterForBackup, altere os tipos de instância principal e central e altere os valores padrão dos parâmetros no modelo. -
Criar um pipeline usando a CLI da
create-pipeline. Por exemplo:aws datapipeline create-pipeline --name my-ddb-backup-pipeline --unique-id my-ddb-backup-pipeline --region ap-northeast-1 -
Anote a ID do pipeline criado.
-
Use
put-pipeline-definitionpara fazer o upload da definição. Forneça valores dos parâmetros cujos valores padrão você deseja substituir usando a opção--parameter-values.
Para obter mais informações sobre os modelos, consulte Escolher um modelo.
Escolher um modelo
Os modelos a seguir estão disponíveis para download no bucket do Amazon S3: s3://datapipeline-us-east-1/templates/.
Modelos
