API sesi interaktif

API sesi interaktif menjelaskan AWS Glue API yang terkait dengan penggunaan sesi AWS Glue interaktif untuk membangun dan menguji skrip ekstrak, transformasi, dan pemuatan (ETL) untuk integrasi data.

Jenis data

• Struktur sesi

• SessionCommand struktur

• Struktur pernyataan

• StatementOutput struktur

• StatementOutputData struktur

• ConnectionsList struktur

Struktur sesi

Periode di mana lingkungan runtime Spark jarak jauh berjalan.

Bidang

• Id — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID sesi.

• CreatedOn — Stempel waktu.

  Waktu dan tanggal saat sesi dibuat.

• Status – String UTF-8 (nilai valid: PROVISIONING | READY | FAILED | TIMEOUT | STOPPING | STOPPED).

  Status sesi.

• ErrorMessage — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Pesan kesalahan ditampilkan selama sesi.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi sesi.

• Role— String UTF-8, panjangnya tidak kurang dari 20 atau lebih dari 2048 byte, cocok dengan. Custom string pattern #26

  Nama atau Nama Sumber Daya Amazon (ARN) dari peran IAM yang terkait dengan Sesi.

• Command — Sebuah objek SessionCommand.

  Perintah Object.see. SessionCommand

• DefaultArguments— Sebuah array peta pasangan kunci-nilai, tidak lebih dari 75 pasang.

  Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 128 byte, yang cocok dengan Custom string pattern #27.

  Setiap nilai adalah string UTF-8, panjangnya tidak lebih dari 4096 byte, cocok dengan. URI address multi-line string pattern

  Sebuah array peta pasangan kunci-nilai. Max adalah 75 pasang.

• Connections — Sebuah objek ConnectionsList.

  Jumlah koneksi yang digunakan untuk sesi tersebut.

• Progress — Nomor (ganda).

  Progres eksekusi kode sesi.

• MaxCapacity — Nomor (ganda).

  Jumlah unit pemrosesan AWS Glue data (DPU) yang dapat dialokasikan saat pekerjaan berjalan. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan memori 16 GB.

• SecurityConfiguration — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama SecurityConfiguration struktur yang akan digunakan dengan sesi.

• GlueVersion — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Custom string pattern #20.

  AWS Glue Versi ini menentukan versi Apache Spark dan Python yang mendukung. AWS Glue GlueVersion Harus lebih besar dari 2.0.

• DataAccessId— String UTF-8, panjangnya tidak kurang dari 1 atau lebih dari 36 byte.

  ID akses data sesi.

• PartitionId— String UTF-8, panjangnya tidak kurang dari 1 atau lebih dari 36 byte.

  ID partisi dari sesion.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah pekerja yang ditentukan WorkerType untuk digunakan untuk sesi tersebut.

• WorkerType – String UTF-8 (nilai yang valid: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

  Jenis pekerja standar yang dialokasikan saat sesi berjalan. Menerima nilaiG.1X,, G.2XG.4X, atau G.8X untuk sesi Spark. Menerima nilai Z.2X untuk sesi Ray.

• CompletedOn — Stempel waktu.

  Tanggal dan waktu sesi ini selesai.

• ExecutionTime — Nomor (ganda).

  Total waktu sesi berjalan.

• DPUSeconds — Nomor (ganda).

  DPU yang dikonsumsi oleh sesi (rumus: ExecutionTime * MaxCapacity).

• IdleTimeout — Nomor (bilangan bulat).

  Jumlah menit saat idle sebelum sesi habis.

• ProfileName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama profil AWS Glue penggunaan yang terkait dengan sesi.

SessionCommand struktur

SessionCommandYang menjalankan pekerjaan.

Bidang

• Name — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Menentukan nama. SessionCommand Bisa 'glueetl' atau 'gluestreaming'.

• PythonVersion — String UTF-8, yang cocok dengan Custom string pattern #21.

  Menentukan versi Python. Versi Python menunjukkan versi yang didukung untuk tugas tipe Spark.

Struktur pernyataan

Pernyataan atau permintaan untuk tindakan tertentu terjadi dalam suatu sesi.

Bidang

• Id — Nomor (bilangan bulat).

  ID pernyataan.

• Code – String UTF-8.

  Kode eksekusi pernyataan.

• State – String UTF-8 (nilai valid: WAITING | RUNNING | AVAILABLE | CANCELLING | CANCELLED | ERROR).

  Negara saat permintaan ditindaklanjuti.

• Output — Sebuah objek StatementOutput.

  Output di JSON.

• Progress — Nomor (ganda).

  Progres eksekusi kode.

• StartedOn — Nomor (panjang).

  Waktu dan tanggal unix bahwa definisi pekerjaan dimulai.

• CompletedOn — Nomor (panjang).

  Waktu dan tanggal unix bahwa definisi pekerjaan selesai.

StatementOutput struktur

Output eksekusi kode dalam format JSON.

Bidang

• Data — Sebuah objek StatementOutputData.

  Output eksekusi kode.

• ExecutionCount — Nomor (bilangan bulat).

  Hitungan eksekusi output.

• Status – String UTF-8 (nilai valid: WAITING | RUNNING | AVAILABLE | CANCELLING | CANCELLED | ERROR).

  Status output eksekusi kode.

• ErrorName – String UTF-8.

  Nama kesalahan dalam output.

• ErrorValue – String UTF-8.

  Nilai kesalahan output.

• Traceback – Susunan string UTF-8.

  Penelusuran balik output.

StatementOutputData struktur

Output eksekusi kode dalam format JSON.

Bidang

• TextPlain – String UTF-8.

  Output eksekusi kode dalam format teks.

ConnectionsList struktur

Menentukan koneksi yang digunakan oleh tugas.

Bidang

• Connections – Susunan string UTF-8.

  Daftar koneksi yang digunakan oleh tugas.

Operasi

• CreateSession tindakan (Python: create_session)

• StopSession tindakan (Python: stop_session)

• DeleteSession tindakan (Python: delete_session)

• GetSession tindakan (Python: get_session)

• ListSessions tindakan (Python: list_sessions)

• RunStatement tindakan (Python: run_statement)

• CancelStatement tindakan (Python: cancel_statement)

• GetStatement tindakan (Python: get_statement)

• ListStatements tindakan (Python: list_statement)

CreateSession tindakan (Python: create_session)

Membuat sesi baru.

Permintaan

Permintaan untuk membuat sesi baru.

• Id — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID permintaan sesi.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi sesi.

• Role- Wajib: UTF-8 string, tidak kurang dari 20 atau lebih dari 2048 byte panjang, cocok dengan. Custom string pattern #26

  Peran IAM ARN

• Command — Wajib: Sebuah objek SessionCommand.

  SessionCommandYang menjalankan pekerjaan.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Jumlah menit sebelum waktu sesi habis. Default untuk pekerjaan Spark ETL adalah 48 jam (2880 menit), masa pakai sesi maksimum untuk jenis pekerjaan ini. Konsultasikan dokumentasi untuk jenis pekerjaan lainnya.

• IdleTimeout — Nomor (bilangan bulat), minimal 1.

  Jumlah menit saat idle sebelum waktu sesi habis. Default untuk pekerjaan Spark ETL adalah nilai Timeout. Konsultasikan dokumentasi untuk jenis pekerjaan lainnya.

• DefaultArguments— Sebuah array peta pasangan kunci-nilai, tidak lebih dari 75 pasang.

  Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 128 byte, yang cocok dengan Custom string pattern #27.

  Setiap nilai adalah string UTF-8, panjangnya tidak lebih dari 4096 byte, cocok dengan. URI address multi-line string pattern

  Sebuah array peta pasangan kunci-nilai. Max adalah 75 pasang.

• Connections — Sebuah objek ConnectionsList.

  Jumlah koneksi yang akan digunakan untuk sesi.

• MaxCapacity — Nomor (ganda).

  Jumlah unit pemrosesan AWS Glue data (DPU) yang dapat dialokasikan saat pekerjaan berjalan. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan memori 16 GB.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah pekerja yang ditentukan WorkerType untuk digunakan untuk sesi tersebut.

• WorkerType – String UTF-8 (nilai yang valid: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

  Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dieksekusi. Menerima nilai G.1X, G.2X, G.4X, atau G.8X untuk pekerjaan Spark. Menerima nilai Z.2X untuk notebook Ray.

  • Untuk tipe G.1X pekerja, setiap pekerja memetakan ke 1 DPU (4 vCPU, memori 16 GB) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang terukur dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

  • Untuk tipe G.2X pekerja, setiap pekerja memetakan ke 2 DPU (8 vCPU, memori 32 GB) dengan disk 128GB (sekitar 77GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang terukur dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

  • Untuk tipe G.4X pekerja, setiap pekerja memetakan ke 4 DPU (16 vCPU, memori 64 GB) dengan disk 256GB (sekitar 235GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru di AWS Wilayah berikut: AS Timur (Ohio), AS Timur (Virginia N.), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), dan Eropa (Stockholm).

  • Untuk tipe G.8X pekerja, setiap pekerja memetakan ke 8 DPU (32 vCPU, memori 128 GB) dengan disk 512GB (sekitar 487GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru, di AWS Wilayah yang sama seperti yang didukung untuk tipe G.4X pekerja.

  • Untuk tipe Z.2X pekerja, setiap pekerja memetakan ke 2 M-DPU (8vCPU, memori 64 GB) dengan disk 128 GB (sekitar 120GB gratis), dan menyediakan hingga 8 pekerja Ray berdasarkan autoscaler.

• SecurityConfiguration — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama SecurityConfiguration struktur yang akan digunakan dengan sesi

• GlueVersion — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Custom string pattern #20.

  AWS Glue Versi ini menentukan versi Apache Spark dan Python yang mendukung. AWS Glue GlueVersion Harus lebih besar dari 2.0.

• DataAccessId— String UTF-8, panjangnya tidak kurang dari 1 atau lebih dari 36 byte.

  ID akses data sesi.

• PartitionId— String UTF-8, panjangnya tidak kurang dari 1 atau lebih dari 36 byte.

  ID partisi sesi.

• Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

  Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 128 byte.

  Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak lebih dari 256 byte.

  Peta pasangan nilai kunci (tag) milik sesi.

• RequestOrigin — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 128 byte, yang cocok dengan Custom string pattern #27.

  Asal usul permintaan.

• ProfileName — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Nama profil AWS Glue penggunaan yang terkait dengan sesi.

Respons

• Session — Sebuah objek Sesi.

  Mengembalikan objek sesi dalam respon.

Kesalahan

• AccessDeniedException

• IdempotentParameterMismatchException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• ValidationException

• AlreadyExistsException

• ResourceNumberLimitExceededException

StopSession tindakan (Python: stop_session)

Menghentikan sesi.

Permintaan

• Id — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID sesi yang akan dihentikan.

• RequestOrigin — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 128 byte, yang cocok dengan Custom string pattern #27.

  Asal usul permintaan.

Respons

• Id — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Mengembalikan Id dari sesi berhenti.

Kesalahan

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

• ConcurrentModificationException

DeleteSession tindakan (Python: delete_session)

Menghapus sesi.

Permintaan

• Id — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID sesi yang akan dihapus.

• RequestOrigin — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 128 byte, yang cocok dengan Custom string pattern #27.

  Nama asal permintaan sesi hapus.

Respons

• Id — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Mengembalikan ID dari sesi dihapus.

Kesalahan

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

• ConcurrentModificationException

GetSession tindakan (Python: get_session)

Mengambil sesi.

Permintaan

• Id — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID sesi.

• RequestOrigin — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 128 byte, yang cocok dengan Custom string pattern #27.

  Asal usul permintaan.

Respons

• Session — Sebuah objek Sesi.

  Objek sesi dikembalikan dalam respons.

Kesalahan

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

ListSessions tindakan (Python: list_sessions)

Ambil daftar sesi.

Permintaan

• NextToken- String UTF-8, panjangnya tidak lebih dari 400000 byte.

  Token untuk set hasil berikutnya, atau null jika tidak ada hasil lagi.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Jumlah hasil maksimum.

• Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

  Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak kurang dari 1 atau lebih dari 128 byte.

  Masing-masing kunci adalah sebuah string UTF-8, dengan panjang tidak lebih dari 256 byte.

  Tag milik sesi.

• RequestOrigin — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 128 byte, yang cocok dengan Custom string pattern #27.

  Asal usul permintaan.

Respons

• Ids – Susunan string UTF-8.

  Mengembalikan ID sesi.

• Sessions – Susunan objek Sesi.

  Mengembalikan objek sesi.

• NextToken- String UTF-8, panjangnya tidak lebih dari 400000 byte.

  Token untuk set hasil berikutnya, atau null jika tidak ada hasil lagi.

Kesalahan

• AccessDeniedException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

RunStatement tindakan (Python: run_statement)

Mengeksekusi pernyataan.

Permintaan

• SessionId — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Id Sesi dari pernyataan yang akan dijalankan.

• Code- Diperlukan: string UTF-8, panjangnya tidak lebih dari 68000 byte.

  Kode pernyataan yang akan dijalankan.

• RequestOrigin — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 128 byte, yang cocok dengan Custom string pattern #27.

  Asal usul permintaan.

Respons

• Id — Nomor (bilangan bulat).

  Mengembalikan Id dari pernyataan yang dijalankan.

Kesalahan

• EntityNotFoundException

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• ValidationException

• ResourceNumberLimitExceededException

• IllegalSessionStateException

CancelStatement tindakan (Python: cancel_statement)

Membatalkan pernyataan.

Permintaan

• SessionId — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Sesi dari pernyataan yang akan dibatalkan.

• Id — Wajib: Nomor (bilangan bulat).

  ID pernyataan yang akan dibatalkan.

• RequestOrigin — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 128 byte, yang cocok dengan Custom string pattern #27.

  Asal usul permintaan untuk membatalkan pernyataan.

Respons

• Tidak ada parameter Respons.

Kesalahan

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

GetStatement tindakan (Python: get_statement)

Mengambil pernyataan.

Permintaan

• SessionId — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Sesi pernyataan.

• Id — Wajib: Nomor (bilangan bulat).

  Id dari pernyataan tersebut.

• RequestOrigin — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 128 byte, yang cocok dengan Custom string pattern #27.

  Asal usul permintaan.

Respons

• Statement — Sebuah objek Pernyataan.

  Mengembalikan pernyataan.

Kesalahan

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

ListStatements tindakan (Python: list_statement)

Daftar pernyataan untuk sesi.

Permintaan

• SessionId — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Sesi dari pernyataan.

• RequestOrigin — String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 128 byte, yang cocok dengan Custom string pattern #27.

  Asal usul permintaan untuk membuat daftar pernyataan.

• NextToken- String UTF-8, panjangnya tidak lebih dari 400000 byte.

  Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.

Respons

• Statements – Susunan objek Pernyataan.

  Mengembalikan daftar pernyataan.

• NextToken- String UTF-8, panjangnya tidak lebih dari 400000 byte.

  Token kelanjutan, jika tidak semua pernyataan telah dikembalikan.

Kesalahan

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException