Pembuatan otomatis API Skrip ETL

API pembuatan skrip ETL menjelaskan tipe data dan API untuk menghasilkan skrip ETL di. AWS Glue

Jenis Data

• CodeGenNode struktur

• CodeGenNodeArg struktur

• CodeGenEdge struktur

• Struktur lokasi

• CatalogEntry struktur

• MappingEntry struktur

CodeGenNode struktur

Merepresentasikan simpul dalam grafik asiklik terarah (DAG)

Bidang

• Id — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Identifier string pattern.

  Sebuah simpul pengenal yang unik dalam grafik simpul.

• NodeType – Wajib: String UTF-8.

  Jenis simpul yang ini.

• Args — Wajib: Susunan objek CodeGenNodeArg, tidak lebih dari 50 struktur.

  Properti simpul, dalam bentuk pasangan nama-nilai.

• LineNumber — Nomor (bilangan bulat).

  Nomor baris dari simpul.

CodeGenNodeArg struktur

Argumen atau properti dari sebuah simpul.

Bidang

• Name – Wajib: String UTF-8.

  Nama argumen atau properti.

• Value – Wajib: String UTF-8.

  Nilai argumen atau properti.

• Param – Boolean.

  BETUL jika nilai yang digunakan sebagai parameter.

CodeGenEdge struktur

Merepresentasikan edge direksional dalam sebuah grafik asiklik terarah (DAG).

Bidang

• Source — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Identifier string pattern.

  ID dari simpul di mana edge dimulai.

• Target — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Identifier string pattern.

  ID dari simpul di mana edge berakhir.

• TargetParameter – String UTF-8.

  Target dari edge.

Struktur lokasi

Lokasi sumber daya.

Bidang

• Jdbc — Susunan objek CodeGenNodeArg, tidak lebih dari 50 struktur.

  Lokasi JDBC.

• S3 — Susunan objek CodeGenNodeArg, tidak lebih dari 50 struktur.

  Lokasi Amazon Simple Storage Service (Amazon S3).

• DynamoDB — Susunan objek CodeGenNodeArg, tidak lebih dari 50 struktur.

  Lokasi tabel Amazon DynamoDB.

CatalogEntry struktur

Menentukan definisi tabel dalam AWS Glue Data Catalog.

Bidang

• DatabaseName — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Basis data di mana metadata tabel berada.

• TableName — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama tabel yang dimaksud.

MappingEntry struktur

Mendefinisikan pemetaan.

Bidang

• SourceTable – String UTF-8.

  Nama tabel sumber.

• SourcePath – String UTF-8.

  Path sumber.

• SourceType – String UTF-8.

  Jenis sumber.

• TargetTable – String UTF-8.

  Tabel target.

• TargetPath – String UTF-8.

  Path target.

• TargetType – String UTF-8.

  Jenis target.

Operasi

• CreateScript tindakan (Python: create_script)

• GetDataflowGraph tindakan (Python: get_dataflow_graph)

• GetMapping tindakan (Python: get_mapping)

• GetPlan tindakan (Python: get_plan)

CreateScript tindakan (Python: create_script)

Mengubah grafik asiklik terarah (DAG) menjadi kode.

Permintaan

• DagNodes – Susunan objek CodeGenNode.

  Daftar simpul dalam DAG.

• DagEdges – Susunan objek CodeGenEdge.

  Daftar edge dalam DAG.

• Language – String UTF-8 (nilai yang valid: PYTHON | SCALA).

  Bahasa pemrograman dari kode yang dihasilkan dari DAG.

Response

• PythonScript – String UTF-8.

  Skrip Python yang dihasilkan dari DAG.

• ScalaCode – String UTF-8.

  Kode Scala yang dihasilkan dari DAG.

Kesalahan

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

GetDataflowGraph tindakan (Python: get_dataflow_graph)

Mengubah skrip Python menjadi sebuah grafik asiklik terarah (DAG).

Permintaan

• PythonScript – String UTF-8.

  Skrip Python yang akan diubah.

Response

• DagNodes – Susunan objek CodeGenNode.

  Daftar simpul dalam DAG yang dihasilkan.

• DagEdges – Susunan objek CodeGenEdge.

  Daftar edge dalam DAG yang dihasilkan.

Kesalahan

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

GetMapping tindakan (Python: get_mapping)

Membuat pemetaan.

Permintaan

• Source — Wajib: Sebuah objek CatalogEntry.

  Menentukan tabel sumber.

• Sinks – Susunan objek CatalogEntry.

  Daftar tabel target.

• Location — Sebuah objek Lokasi.

  Parameter untuk pemetaan.

Response

• Mapping – Wajib: Susunan objek MappingEntry.

  Daftar pemetaan untuk target yang ditentukan.

Kesalahan

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• EntityNotFoundException

GetPlan tindakan (Python: get_plan)

Dapatkan kode untuk melakukan pemetaan tertentu.

Permintaan

• Mapping – Wajib: Susunan objek MappingEntry.

  Daftar pemetaan dari tabel sumber untuk tabel target.

• Source — Wajib: Sebuah objek CatalogEntry.

  Tabel sumber.

• Sinks – Susunan objek CatalogEntry.

  Tabel target.

• Location — Sebuah objek Lokasi.

  Parameter untuk pemetaan.

• Language – String UTF-8 (nilai yang valid: PYTHON | SCALA).

  Bahasa pemrograman kode untuk melakukan pemetaan.

• AdditionalPlanOptionsMap – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah string UTF-8.

  Setiap nilai adalah string UTF-8.

  Sebuah peta untuk menahan tambahan parameter nilai kunci opsional.

  Saat ini, pasangan nilai kunci ini didukung:

  • inferSchema  —  Menentukan apakah akan mengatur inferSchema ke BETUL atau SALAH untuk skrip default yang dihasilkan oleh tugas AWS Glue. Misalnya, untuk mengatur inferSchema ke BETUL, berikan pasangan nilai kunci berikut:

    --additional-plan-options-map '{"inferSchema":"true"}'

Response

• PythonScript – String UTF-8.

  Sebuah skrip Python untuk melakukan pemetaan.

• ScalaCode – String UTF-8.

  Kode Scala untuk melakukan pemetaan.

Kesalahan

• InvalidInputException

• InternalServiceException

• OperationTimeoutException