AWS GlueVisual Job API

AWS Gluemenyediakan API yang memungkinkan pelanggan membuat pekerjaan integrasi data menggunakan AWS Glue API dari objek JSON yang mewakili alur kerja langkah visual. Pelanggan kemudian dapat menggunakan editor visual AWS Glue Studio untuk bekerja dengan pekerjaan ini.

Untuk informasi selengkapnya tentang tipe data Visual Job API, lihat Visual Job API.

Desain API dan API CRUD

UpdateJob API CreateJob dan sekarang mendukung parameter opsional tambahan, codeGenConfiguration Node. Menyediakan struktur JSON yang tidak kosong untuk bidang ini akan mengakibatkan DAG terdaftar AWS Glue Studio untuk pekerjaan yang dibuat dan kode terkait yang dihasilkan. Nilai nol atau string kosong untuk bidang ini pada pembuatan pekerjaan akan diabaikan.

Pembaruan pada bidang codeGenConfiguration Nodes akan dilakukan melalui UpdateJob AWS Glue API dengan cara yang sama seperti CreateJob. Seluruh bidang harus ditentukan di UpdateJob mana DAG telah diubah sesuai keinginan. Nilai nol yang diberikan akan diabaikan dan tidak ada pembaruan untuk DAG yang akan dilakukan. Struktur atau string yang kosong akan menyebabkan codeGenConfiguration Node disetel sebagai kosong dan DAG sebelumnya dihapus. GetJob API akan mengembalikan DAG jika ada. DeleteJob API juga akan menghapus DAG terkait.

Mulai

Untuk membuat pekerjaan, gunakan CreateJob tindakan. Input CreateJob permintaan akan memiliki bidang tambahan 'codeGenConfigurationNodes' di mana Anda bisa menentukan objek DAG di JSON.

Hal-hal yang perlu diingat:

• Bidang 'codeGenConfigurationNodes' adalah peta nodeId ke node.

• Setiap node dimulai dengan kunci yang mengidentifikasi jenis node apa itu.

• Hanya ada satu kunci yang ditentukan karena node hanya bisa dari satu jenis.

• Bidang input berisi node induk dari node saat ini.

Berikut ini adalah representasi JSON dari CreateJobinput.

{
  "node-1": {
    "S3CatalogSource": {
      "Table": "csvFormattedTable",
      "PartitionPredicate": "",
      "Name": "S3 bucket",
      "AdditionalOptions": {},
      "Database": "myDatabase"
    }
  },
  "node-3": {
    "S3DirectTarget": {
      "Inputs": ["node-2"],
      "PartitionKeys": [],
      "Compression": "none",
      "Format": "json",
      "SchemaChangePolicy": { "EnableUpdateCatalog": false },
      "Path": "",
      "Name": "S3 bucket"
    }
  },
  "node-2": {
    "ApplyMapping": {
      "Inputs": ["node-1"],
      "Name": "ApplyMapping",
      "Mapping": [
        {
          "FromType": "long",
          "ToType": "long",
          "Dropped": false,
          "ToKey": "myheader1",
          "FromPath": ["myheader1"]
        },
        {
          "FromType": "long",
          "ToType": "long",
          "Dropped": false,
          "ToKey": "myheader2",
          "FromPath": ["myheader2"]
        },
        {
          "FromType": "long",
          "ToType": "long",
          "Dropped": false,
          "ToKey": "myheader3",
          "FromPath": ["myheader3"]
        }
      ]
    }
  }
}   
            

Memperbarui dan mendapatkan pekerjaan

Karena juga UpdateJobakan memiliki bidang 'codeGenConfigurationNodes', format input akan sama. Lihat UpdateJobAksi.

GetJobTindakan akan mengembalikan bidang 'codeGenConfigurationNodes' dalam format yang sama juga. Lihat GetJobAksi.

Keterbatasan pekerjaan visual

Karena parameter 'codeGenConfigurationNodes' telah ditambahkan ke API yang ada, batasan apa pun dalam API tersebut akan diwariskan. Selain itu, codeGenConfiguration Node dan beberapa node akan dibatasi ukurannya. Lihat Job Structure untuk informasi lebih lanjut.