AWS Data Pipeline contoh menggunakan AWS CLI

Contoh kode berikut menunjukkan cara melakukan tindakan dan menerapkan skenario umum dengan menggunakan AWS Command Line Interface with AWS Data Pipeline.

Tindakan merupakan kutipan kode dari program yang lebih besar dan harus dijalankan dalam konteks. Sementara tindakan menunjukkan cara memanggil fungsi layanan individual, Anda dapat melihat tindakan dalam konteks dalam skenario terkait.

Setiap contoh menyertakan tautan ke kode sumber lengkap, di mana Anda dapat menemukan instruksi tentang cara mengatur dan menjalankan kode dalam konteks.

Tindakan

mengaktifkan-pipa

Contoh kode berikut menunjukkan cara menggunakanactivate-pipeline.

AWS CLI

Untuk mengaktifkan pipa

Contoh ini mengaktifkan pipeline yang ditentukan:

aws datapipeline activate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

Untuk mengaktifkan pipeline pada tanggal dan waktu tertentu, gunakan perintah berikut:

aws datapipeline activate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE --start-timestamp 2015-04-07T00:00:00Z

• Untuk detail API, lihat ActivatePipeline di Refer AWS CLI ensi Perintah.

tag tambahan

Contoh kode berikut menunjukkan cara menggunakanadd-tags.

AWS CLI

Untuk menambahkan tag ke pipeline

Contoh ini menambahkan tag yang ditentukan ke pipeline yang ditentukan:

aws datapipeline add-tags --pipeline-id df-00627471SOVYZEXAMPLE --tags key=environment,value=production key=owner,value=sales

Untuk melihat tag, gunakan perintah describe-pipeline. Misalnya, tag yang ditambahkan dalam perintah contoh muncul sebagai berikut dalam output untuk describe-pipeline:

{
    ...
        "tags": [
            {
                "value": "production",
                "key": "environment"
            },
            {
                "value": "sales",
                "key": "owner"
            }
        ]
    ...
}

• Untuk detail API, lihat AddTags di Refer AWS CLI ensi Perintah.

buat-pipa

Contoh kode berikut menunjukkan cara menggunakancreate-pipeline.

AWS CLI

Untuk membuat pipa

Contoh ini membuat pipeline:

aws datapipeline create-pipeline --name my-pipeline --unique-id my-pipeline-token

Berikut ini adalah output contoh:

{
    "pipelineId": "df-00627471SOVYZEXAMPLE"
}

• Untuk detail API, lihat CreatePipeline di Refer AWS CLI ensi Perintah.

menonaktifkan-pipa

Contoh kode berikut menunjukkan cara menggunakandeactivate-pipeline.

AWS CLI

Untuk menonaktifkan pipa

Contoh ini menonaktifkan pipeline yang ditentukan:

aws datapipeline deactivate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

Untuk menonaktifkan pipeline hanya setelah semua aktivitas berjalan selesai, gunakan perintah berikut:

aws datapipeline deactivate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE --no-cancel-active

• Untuk detail API, lihat DeactivatePipeline di Refer AWS CLI ensi Perintah.

hapus-pipa

Contoh kode berikut menunjukkan cara menggunakandelete-pipeline.

AWS CLI

Untuk menghapus pipeline

Contoh ini menghapus pipeline yang ditentukan:

aws datapipeline delete-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

• Untuk detail API, lihat DeletePipeline di Refer AWS CLI ensi Perintah.

deskripsi-pipeline

Contoh kode berikut menunjukkan cara menggunakandescribe-pipelines.

AWS CLI

Untuk menggambarkan saluran pipa Anda

Contoh ini menjelaskan pipeline yang ditentukan:

aws datapipeline describe-pipelines --pipeline-ids df-00627471SOVYZEXAMPLE

Berikut ini adalah output contoh:

{
  "pipelineDescriptionList": [
      {
          "fields": [
              {
                  "stringValue": "PENDING",
                  "key": "@pipelineState"
              },
              {
                  "stringValue": "my-pipeline",
                  "key": "name"
              },
              {
                  "stringValue": "2015-04-07T16:05:58",
                  "key": "@creationTime"
              },
              {
                  "stringValue": "df-00627471SOVYZEXAMPLE",
                  "key": "@id"
              },
              {
                  "stringValue": "123456789012",
                  "key": "pipelineCreator"
              },
              {
                  "stringValue": "PIPELINE",
                  "key": "@sphere"
              },
              {
                  "stringValue": "123456789012",
                  "key": "@userId"
              },
              {
                  "stringValue": "123456789012",
                  "key": "@accountId"
              },
              {
                  "stringValue": "my-pipeline-token",
                  "key": "uniqueId"
              }
          ],
          "pipelineId": "df-00627471SOVYZEXAMPLE",
          "name": "my-pipeline",
          "tags": []
      }
  ]
}

• Untuk detail API, lihat DescribePipelines di Refer AWS CLI ensi Perintah.

get-pipeline-definition

Contoh kode berikut menunjukkan cara menggunakanget-pipeline-definition.

AWS CLI

Untuk mendapatkan definisi pipeline

Contoh ini mendapatkan definisi pipeline untuk pipeline yang ditentukan:

aws datapipeline get-pipeline-definition --pipeline-id df-00627471SOVYZEXAMPLE

Berikut ini adalah output contoh:

{
  "parameters": [
      {
          "type": "AWS::S3::ObjectKey",
          "id": "myS3OutputLoc",
          "description": "S3 output folder"
      },
      {
          "default": "s3://us-east-1.elasticmapreduce.samples/pig-apache-logs/data",
          "type": "AWS::S3::ObjectKey",
          "id": "myS3InputLoc",
          "description": "S3 input folder"
      },
      {
          "default": "grep -rc \"GET\" ${INPUT1_STAGING_DIR}/* > ${OUTPUT1_STAGING_DIR}/output.txt",
          "type": "String",
          "id": "myShellCmd",
          "description": "Shell command to run"
      }
  ],
  "objects": [
      {
          "type": "Ec2Resource",
          "terminateAfter": "20 Minutes",
          "instanceType": "t1.micro",
          "id": "EC2ResourceObj",
          "name": "EC2ResourceObj"
      },
      {
          "name": "Default",
          "failureAndRerunMode": "CASCADE",
          "resourceRole": "DataPipelineDefaultResourceRole",
          "schedule": {
              "ref": "DefaultSchedule"
          },
          "role": "DataPipelineDefaultRole",
          "scheduleType": "cron",
          "id": "Default"
      },
      {
          "directoryPath": "#{myS3OutputLoc}/#{format(@scheduledStartTime, 'YYYY-MM-dd-HH-mm-ss')}",
          "type": "S3DataNode",
          "id": "S3OutputLocation",
          "name": "S3OutputLocation"
      },
      {
          "directoryPath": "#{myS3InputLoc}",
          "type": "S3DataNode",
          "id": "S3InputLocation",
          "name": "S3InputLocation"
      },
      {
          "startAt": "FIRST_ACTIVATION_DATE_TIME",
          "name": "Every 15 minutes",
          "period": "15 minutes",
          "occurrences": "4",
          "type": "Schedule",
          "id": "DefaultSchedule"
      },
      {
          "name": "ShellCommandActivityObj",
          "command": "#{myShellCmd}",
          "output": {
              "ref": "S3OutputLocation"
          },
          "input": {
              "ref": "S3InputLocation"
          },
          "stage": "true",
          "type": "ShellCommandActivity",
          "id": "ShellCommandActivityObj",
          "runsOn": {
              "ref": "EC2ResourceObj"
          }
      }
  ],
  "values": {
      "myS3OutputLoc": "s3://amzn-s3-demo-bucket/",
      "myS3InputLoc": "s3://us-east-1.elasticmapreduce.samples/pig-apache-logs/data",
      "myShellCmd": "grep -rc \"GET\" ${INPUT1_STAGING_DIR}/* > ${OUTPUT1_STAGING_DIR}/output.txt"
  }
}

• Untuk detail API, lihat GetPipelineDefinition di Refer AWS CLI ensi Perintah.

daftar saluran pipa

Contoh kode berikut menunjukkan cara menggunakanlist-pipelines.

AWS CLI

Untuk membuat daftar saluran pipa Anda

Contoh ini mencantumkan pipeline Anda:

aws datapipeline list-pipelines

Berikut ini adalah output contoh:

{
  "pipelineIdList": [
      {
          "id": "df-00627471SOVYZEXAMPLE",
          "name": "my-pipeline"
      },
      {
          "id": "df-09028963KNVMREXAMPLE",
          "name": "ImportDDB"
      },
      {
          "id": "df-0870198233ZYVEXAMPLE",
          "name": "CrossRegionDDB"
      },
      {
          "id": "df-00189603TB4MZEXAMPLE",
          "name": "CopyRedshift"
      }
  ]
}

• Untuk detail API, lihat ListPipelines di Refer AWS CLI ensi Perintah.

menjalankan daftar

Contoh kode berikut menunjukkan cara menggunakanlist-runs.

AWS CLI

Contoh 1: Untuk membuat daftar jalur pipa Anda

list-runsContoh berikut mencantumkan proses untuk pipeline yang ditentukan.

aws datapipeline list-runs --pipeline-id df-00627471SOVYZEXAMPLE

Output:

    Name                       Scheduled Start        Status                     ID                                              Started                Ended
    -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1.  EC2ResourceObj             2015-04-12T17:33:02    CREATING                   @EC2ResourceObj_2015-04-12T17:33:02             2015-04-12T17:33:10
2.  S3InputLocation            2015-04-12T17:33:02    FINISHED                   @S3InputLocation_2015-04-12T17:33:02            2015-04-12T17:33:09    2015-04-12T17:33:09
3.  S3OutputLocation           2015-04-12T17:33:02    WAITING_ON_DEPENDENCIES    @S3OutputLocation_2015-04-12T17:33:02           2015-04-12T17:33:09
4.  ShellCommandActivityObj    2015-04-12T17:33:02    WAITING_FOR_RUNNER         @ShellCommandActivityObj_2015-04-12T17:33:02    2015-04-12T17:33:09

Contoh 2: Untuk membuat daftar jalur pipa berjalan antara tanggal yang ditentukan

list-runsContoh berikut menggunakan --start-interval untuk menentukan tanggal yang akan disertakan dalam output.

aws datapipeline list-runs --pipeline-id df-01434553B58A2SHZUKO5 --start-interval 2017-10-07T00:00:00,2017-10-08T00:00:00

• Untuk detail API, lihat ListRuns di Refer AWS CLI ensi Perintah.

put-pipeline-definisi

Contoh kode berikut menunjukkan cara menggunakanput-pipeline-definition.

AWS CLI

Untuk mengunggah definisi pipeline

Contoh ini mengunggah definisi pipeline yang ditentukan ke pipeline yang ditentukan:

aws datapipeline put-pipeline-definition --pipeline-id df-00627471SOVYZEXAMPLE --pipeline-definition file://my-pipeline-definition.json

Berikut ini adalah output contoh:

{
  "validationErrors": [],
  "errored": false,
  "validationWarnings": []
}

• Untuk detail API, lihat PutPipelineDefinition di Refer AWS CLI ensi Perintah.

hapus tag

Contoh kode berikut menunjukkan cara menggunakanremove-tags.

AWS CLI

Untuk menghapus tag dari pipeline

Contoh ini menghapus tag yang ditentukan dari pipeline yang ditentukan:

aws datapipeline remove-tags --pipeline-id df-00627471SOVYZEXAMPLE --tag-keys environment

• Untuk detail API, lihat RemoveTags di Refer AWS CLI ensi Perintah.