使用 CLI 从 Data Pipeline 模板创建管道 - AWS Data Pipeline

使用 CLI 从 Data Pipeline 模板创建管道

Data Pipeline 提供了多个预配置的管道定义(称为模板)。您可以利用这些模板快速开始使用 AWS Data Pipeline。这些模板可在位于 Amazon S3 位置:s3://datapipeline-us-east-1/templates/ 的公共存储桶中找到。创建这些预定义模板是为了实现特定的使用案例,可用于创建管道。您可以使用 aws s3 ls --recursive "s3://datapipeline-us-east-1/templates/" 来列出所有可用的模板。

使用 CLI 从模板创建管道

假设您想要创建一个将 DynamoDB 表导出到 Amazon S3 的管道。在这种情况下要使用的模板可以在此找到:s3://datapipeline-us-east-1/templates/DynamoDB Templates/Export DynamoDB table to S3.json

使用 CLI 下载模板 JSON 并创建管道
  1. 使用 aws s3 cp CLI 或 curl 下载模板。例如:

    aws s3 cp "s3://datapipeline-us-east-1/templates/DynamoDB Templates/Export DynamoDB table to S3.json" <destination directory>
  2. 根据需要,对已下载的模板进行更改。例如,要使用最新的 EMR 发行版本,请更改 EmrClusterForBackup 对象中的 releaseLabel 字段,更改主实例和核心实例类型,以及更改模板中参数的默认值。

  3. 使用 create-pipeline CLI 创建管道。例如:

    aws datapipeline create-pipeline --name my-ddb-backup-pipeline --unique-id my-ddb-backup-pipeline --region ap-northeast-1
  4. 记下已创建的管道 ID。

  5. 使用 put-pipeline-definition 上传定义。使用 --parameter-values 选项提供要覆盖其默认值的参数的值。

有关模板的更多信息,请参阅Choose a template

Choose a template

以下模板可从 Amazon S3 存储桶:s3://datapipeline-us-east-1/templates/ 下载。