API pemuat massal pesawat data Neptunus

Tindakan beban massal:

• StartLoaderJob (tindakan)

• GetLoaderJobStatus (tindakan)

• ListLoaderJobs (tindakan)

• CancelLoaderJob (tindakan)

Struktur beban massal:

• LoaderIdResult (struktur)

StartLoaderJob (tindakan)

        Nama AWS CLI untuk API ini adalah:. start-loader-job

Memulai tugas pemuat massal Neptunus untuk memuat data dari bucket Amazon S3 ke instans DB Neptunus. Lihat Menggunakan Amazon Neptune Bulk Loader untuk Menyerap Data.

Saat menjalankan operasi ini di cluster Neptunus yang mengaktifkan otentikasi IAM, pengguna IAM atau peran yang membuat permintaan harus memiliki kebijakan yang dilampirkan yang memungkinkan tindakan neptune-db: IAM di cluster itu. StartLoaderJob

Permintaan

• dependencies(dalam CLI:--dependencies) — String, tipe: string (string yang dikodekan UTF-8).

  Ini adalah parameter opsional yang dapat membuat permintaan beban antrian bergantung pada keberhasilan penyelesaian satu atau lebih pekerjaan sebelumnya dalam antrian.

  Neptune dapat mengantrekan sebanyak 64 permintaan pemuatan sekaligus, jika parameter queueRequest permintaannya diatur ke "TRUE". Parameter dependencies memungkinkan Anda melakukan eksekusi seperti permintaan mengantre yang tergantung pada penyelesaian yang berhasil dari satu atau lebih permintaan ditentukan sebelumnya dalam antrean.

  Misalnya, jika pemuatan Job-A dan Job-B independen satu sama lain, namun pemuatan Job-C membutuhkan Job-A dan Job-B harus selesai sebelum dimulai, lanjutkan sebagai berikut:

  1. Kirim load-job-A dan load-job-B satu demi satu dalam urutan apa pun, dan simpan load-id mereka.

  2. Kirim load-job-C dengan load-id dari dua pekerjaan di bidang dependencies-nya:

    "dependencies" : ["(job_A_load_id)", "(job_B_load_id)"]

  Karena parameter dependencies, loader massal tidak akan memulai Job-C sampai Job-A dan Job-B telah berhasil diselesaikan. Jika salah satu dari mereka gagal, Job-C tidak akan dieksekusi, dan statusnya akan diatur ke LOAD_FAILED_BECAUSE_DEPENDENCY_NOT_SATISFIED.

  Anda dapat mengatur beberapa tingkat ketergantungan dengan cara ini, sehingga kegagalan satu pekerjaan akan menyebabkan semua permintaan yang secara langsung atau tidak langsung tergantung padanya untuk dibatalkan.

• failOnError(dalam CLI:--fail-on-error) — Boolean, dari tipe: boolean (nilai Boolean (benar atau salah)).

  failOnError — Sebuah bendera untuk mengubah berhenti penuh pada kesalahan.

  Nilai yang diizinkan: "TRUE", "FALSE".

  Nilai default:"TRUE".

  Ketika parameter ini diatur ke "FALSE", loader mencoba memuat semua data di lokasi yang ditentukan, melewatkan entri apa pun yang memiliki kesalahan.

  Ketika parameter ini diatur ke "TRUE", loader berhenti segera setelah menemukan kesalahan. Data yang dimuat sampai saat itu tetap ada.

• format(dalam CLI:--format) - Diperlukan: Format, tipe: string (string yang dikodekan UTF-8).

  Format data. Untuk informasi selengkapnya tentang format data untuk perintah Loader Neptunus, lihat Memuat Format Data.

  Nilai yang diizinkan

  • csvuntuk format data CSV Gremlin.

  • opencypheruntuk format data CSV OpenCypher.

  • ntriplesuntuk format data RDF N-Triples.

  • nquadsuntuk format data N-Quads RDF.

  • rdfxmluntuk format data RDF\ XHTML RDF.

  • turtleuntuk format data Turtle RDF.

• iamRoleArn(dalam CLI:--iam-role-arn) - Diperlukan: String, tipe: string (string yang dikodekan UTF-8).

  Nama Sumber Daya Amazon (ARN) untuk peran IAM akan diasumsikan oleh instans DB Neptunus untuk akses ke bucket S3. Peran IAM ARN yang disediakan di sini harus dilampirkan ke cluster DB (lihat Menambahkan Peran IAM ke Cluster Amazon Neptunus.

• mode(dalam CLI:--mode) — Mode, tipe: string (string yang dikodekan UTF-8).

  Mode beban pekerjaan.

  Nilai yang diizinkan:RESUME,NEW,AUTO.

  Nilai default:AUTO.

  • RESUME — Dalam mode RESUME, loader mencari pemuatan sebelumnya dari sumber ini, dan jika menemukan satu, melanjutkan pekerjaan pemuatan tersebut. Jika tidak ada pekerjaan pemuatan sebelumnya yang ditemukan, loader berhenti.

    Loader menghindari memuat ulang file yang berhasil dimuat di pekerjaan sebelumnya. Ia hanya mencoba untuk memproses file yang gagal. Jika Anda menjatuhkan data yang dimuat sebelumnya dari klaster Neptune Anda, data tersebut tidak dimuat ulang dalam mode ini. Jika pekerjaan pemuatan sebelumnya berhasil memuat semua file dari sumber yang sama, tidak ada yang dimuat ulang, dan loader mengembalikan keberhasilan.

  • NEW — Dalam mode NEW, it menciptakan permintaan pemuatan baru terlepas dari pemuatan sebelumnya. Anda dapat menggunakan mode ini untuk memuat ulang semua data dari sumber setelah menjatuhkan data yang dimuat sebelumnya dari klaster Neptune Anda, atau untuk memuat data baru yang tersedia di sumber yang sama.

  • AUTO — Dalam mode AUTO, loader mencari pekerjaan pemuatan sebelumnya dari sumber yang sama, dan jika menemukannya, melanjutkan pekerjaan itu, seperti pada mode RESUME.

    Jika loader tidak menemukan pekerjaan pemuatan sebelumnya dari sumber yang sama, loader akan memuat semua data dari sumbernya, seperti pada mode NEW.

• parallelism(dalam CLI:--parallelism) — Paralelisme, tipe: string (string yang dikodekan UTF-8).

  parallelismParameter opsional dapat diatur untuk mengurangi jumlah utas yang digunakan oleh proses beban massal.

  Nilai yang diizinkan:

  • LOW — Jumlah utas yang digunakan adalah jumlah vCPU yang tersedia dibagi dengan 8.

  • MEDIUM — Jumlah utas yang digunakan adalah jumlah vCPU yang tersedia dibagi dengan 2.

  • HIGH — Jumlah utas yang digunakan sama dengan jumlah vCPU yang tersedia.

  • OVERSUBSCRIBE — Jumlah utas yang digunakan adalah jumlah vCPU yang tersedia dikali dengan 2. Jika nilai ini digunakan, loader massal mengambil semua sumber daya yang tersedia.

    Ini tidak berarti, bagaimanapun, bahwa pengaturan OVERSUBSCRIBE menghasilkan 100% utilisasi CPU. Karena operasi pemuatan terikat I/O, utilisasi CPU tertinggi yang diharapkan adalah dalam kisaran 60% hingga 70%.

  Nilai default: HIGH

  parallelismPengaturan terkadang dapat mengakibatkan kebuntuan antar utas saat memuat data OpenCypher. Ketika ini terjadi, Neptunus mengembalikan kesalahan. LOAD_DATA_DEADLOCK Anda biasanya dapat memperbaiki masalah dengan mengatur parallelism ke pengaturan yang lebih rendah dan mencoba kembali perintah load.

• parserConfiguration(dalam CLI:--parser-configuration) — Ini adalah array peta pasangan kunci-nilai di mana:

      Setiap kunci adalah String, tipe: string (string yang dikodekan UTF-8).

      Setiap nilai adalah String, tipe: string (string yang dikodekan UTF-8).

  parserConfiguration — Sebuah objek opsional dengan nilai konfigurasi parser tambahan. Masing-masing parameter turunan juga opsional:

  • namedGraphUri— Grafik default untuk semua format RDF ketika tidak ada grafik yang ditentukan (untuk format non-quads dan entri NQUAD tanpa grafik).

    Default-nya adalah https://aws.amazon.com/neptune/vocab/v01/DefaultNamedGraph.

  • baseUri— URI dasar untuk format RDF/XHTML dan Turtle.

    Default-nya adalah https://aws.amazon.com/neptune/default.

  • allowEmptyStrings— Pengguna Gremlin harus dapat memberikan nilai string kosong (“”) sebagai properti node dan edge saat memuat data CSV. Jika allowEmptyStrings diatur ke false (default), string kosong diperlakukan sebagai null dan tidak dimuat.

    Jika allowEmptyStrings diatur ke true, loader memperlakukan string kosong sebagai nilai properti yang valid dan memuatnya sesuai keperluan.

• queueRequest(dalam CLI:--queue-request) — Boolean, dari tipe: boolean (nilai Boolean (benar atau salah)).

  Ini adalah parameter bendera opsional yang menunjukkan apakah permintaan pemuatan dapat diantrian atau tidak.

  Anda tidak perlu menunggu satu pekerjaan muat selesai sebelum mengeluarkan pekerjaan berikutnya, karena Neptune dapat mengantrekan sebanyak 64 pekerjaan sekaligus, asalkan parameter queueRequest semua diatur ke "TRUE". Urutan antrian pekerjaan akan menjadi first-in-first-out (FIFO).

  Jika parameter queueRequest dihilangkan atau diatur ke "FALSE", permintaan pemuatan akan gagal jika pekerjaan pemuatan lain sudah berjalan.

  Nilai yang diizinkan: "TRUE", "FALSE".

  Nilai default:"FALSE".

• s3BucketRegion(dalam CLI:--s-3-bucket-region) - Diperlukan: S3BucketRegion, tipe: string (string yang dikodekan UTF-8).

  Wilayah Amazon dari ember S3. Ini harus cocok dengan Wilayah Amazon dari cluster DB.

• source(dalam CLI:--source) - Diperlukan: String, tipe: string (string yang dikodekan UTF-8).

  sourceParameter menerima URI S3 yang mengidentifikasi satu file, beberapa file, folder, atau beberapa folder. Neptune memuat setiap file data dalam folder yang ditentukan.

  URI dapat berupa format berikut.

  • s3://(bucket_name)/(object-key-name)

  • https://s3.amazonaws.com/(bucket_name)/(object-key-name)

  • https://s3.us-east-1.amazonaws.com/(bucket_name)/(object-key-name)

  object-key-nameElemen URI setara dengan parameter awalan dalam panggilan ListObjectsAPI S3. Ini mengidentifikasi semua objek dalam ember S3 tertentu yang namanya dimulai dengan awalan itu. Objek itu bisa berupa satu file atau folder, atau beberapa file dan/atau folder.

  Folder atau folder-folder yang ditentukan dapat berisi beberapa file vertex dan beberapa file edge.

• updateSingleCardinalityProperties(dalam CLI:--update-single-cardinality-properties) — Boolean, dari tipe: boolean (nilai Boolean (benar atau salah)).

  updateSingleCardinalityPropertiesadalah parameter opsional yang mengontrol cara pemuat massal memperlakukan nilai baru untuk properti simpul atau tepi kardinalitas tunggal. Ini tidak didukung untuk memuat data OpenCypher.

  Nilai yang diizinkan: "TRUE", "FALSE".

  Nilai default:"FALSE".

  Secara default, atau saat updateSingleCardinalityProperties secara eksplisit diatur ke "FALSE", loader memperlakukan nilai baru sebagai kesalahan, karena melanggar kardinalitas tunggal.

  Saat updateSingleCardinalityProperties diatur ke "TRUE", di sisi lain, loader massal menggantikan nilai yang ada dengan yang baru. Jika beberapa edge atau nilai properti vertex single-cardinality disediakan dalam file sumber yang dimuat, nilai akhir pada akhir pemuatan massal bisa menjadi salah satu dari nilai-nilai baru tersebut. Loader hanya menjamin bahwa nilai yang ada telah digantikan oleh salah satu yang baru.

• userProvidedEdgeIds(dalam CLI:--user-provided-edge-ids) — Boolean, dari tipe: boolean (nilai Boolean (benar atau salah)).

  Parameter ini diperlukan hanya saat memuat data OpenCypher yang berisi ID hubungan. Itu harus disertakan dan disetel ke True saat ID hubungan OpenCypher secara eksplisit disediakan dalam data pemuatan (disarankan).

  Ketika tidak userProvidedEdgeIds ada atau diatur keTrue, :ID kolom harus ada di setiap file hubungan dalam beban.

  Ketika userProvidedEdgeIds hadir dan diatur keFalse, file hubungan dalam beban tidak boleh berisi :ID kolom. Sebagai gantinya, pemuat Neptunus secara otomatis menghasilkan ID untuk setiap hubungan.

  Ini berguna untuk memberikan ID hubungan secara eksplisit sehingga loader dapat melanjutkan pemuatan setelah kesalahan dalam data CSV telah diperbaiki, tanpa harus memuat ulang hubungan apa pun yang telah dimuat. Jika ID hubungan belum ditetapkan secara eksplisit, loader tidak dapat melanjutkan pemuatan yang gagal jika ada file hubungan yang harus diperbaiki, dan sebagai gantinya harus memuat ulang semua hubungan.

Respons

• payload— Wajib: Ini adalah array peta pasangan kunci-nilai di mana:

      Setiap kunci adalah String, tipe: string (string yang dikodekan UTF-8).

      Setiap nilai adalah String, tipe: string (string yang dikodekan UTF-8).

  Berisi pasangan loadId nama-nilai yang menyediakan pengidentifikasi untuk operasi beban.

• status— Diperlukan: String, tipe: string (string yang dikodekan UTF-8).

  Kode pengembalian HTTP yang menunjukkan status pekerjaan pemuatan.

Galat

• BadRequestException

• InvalidParameterException

• BulkLoadIdNotFoundException

• ClientTimeoutException

• LoadUrlAccessDeniedException

• IllegalArgumentException

• TooManyRequestsException

• UnsupportedOperationException

• InternalFailureException

• S3Exception

• PreconditionsFailedException

• ConstraintViolationException

• InvalidArgumentException

• MissingParameterException

GetLoaderJobStatus (tindakan)

        Nama AWS CLI untuk API ini adalah:. get-loader-job-status

Mendapat informasi status tentang pekerjaan pemuatan tertentu. Neptunus melacak 1.024 pekerjaan pemuatan massal terbaru, dan menyimpan 10.000 detail kesalahan terakhir per pekerjaan.

Lihat Neptune Loader Get-Status API untuk informasi selengkapnya.

Saat menjalankan operasi ini di cluster Neptunus yang mengaktifkan otentikasi IAM, pengguna IAM atau peran yang membuat permintaan harus memiliki kebijakan yang dilampirkan yang memungkinkan tindakan neptune-db: IAM di cluster itu.. GetLoaderJobStatus

Permintaan

• details(dalam CLI:--details) — Boolean, dari tipe: boolean (nilai Boolean (benar atau salah)).

  Tandai yang menunjukkan apakah akan menyertakan detail di luar status keseluruhan atau tidak (TRUEatauFALSE; defaultnya adalahFALSE).

• errors(dalam CLI:--errors) — Boolean, dari tipe: boolean (nilai Boolean (benar atau salah)).

  Bendera yang menunjukkan apakah akan menyertakan daftar kesalahan yang ditemui atau tidak (TRUEatauFALSE; defaultnya adalahFALSE).

  Daftar kesalahan dipecah dalam beberapa bagian. Parameter page dan errorsPerPage memungkinkan Anda untuk melalui semua kesalahan dalam beberapa bagian.

• errorsPerPage(dalam CLI:--errors-per-page) — a PositiveInteger, tipe: integer (bilangan bulat 32-bit yang ditandatangani), setidaknya 1? st?.

  Jumlah kesalahan yang dikembalikan di setiap halaman (bilangan bulat positif; defaultnya adalah10). Hanya berlaku ketika errors parameter disetel keTRUE.

• loadId(dalam CLI:--load-id) - Diperlukan: String, tipe: string (string yang dikodekan UTF-8).

  ID beban pekerjaan beban untuk mendapatkan status.

• page(dalam CLI:--page) — a PositiveInteger, tipe: integer (bilangan bulat 32-bit yang ditandatangani), setidaknya 1? st?.

  Nomor halaman kesalahan (bilangan bulat positif; defaultnya adalah1). Hanya valid ketika errors parameter diatur keTRUE.

Respons

• payload— Diperlukan: Dokumen, tipe: document (konten terbuka protokol-agnostik yang diwakili oleh model data seperti JSON).

  Informasi status tentang pekerjaan pemuatan, dalam tata letak yang bisa terlihat seperti ini:

  {
            "status" : "200 OK",
            "payload" : {
              "feedCount" : [
                {
                  "LOAD_FAILED" : (number)
                }
              ],
              "overallStatus" : {
                "fullUri" : "s3://(bucket)/(key)",
                "runNumber" : (number),
                "retryNumber" : (number),
                "status" : "(string)",
                "totalTimeSpent" : (number),
                "startTime" : (number),
                "totalRecords" : (number),
                "totalDuplicates" : (number),
                "parsingErrors" : (number),
                "datatypeMismatchErrors" : (number),
                "insertErrors" : (number),
              },
              "failedFeeds" : [
                {
                  "fullUri" : "s3://(bucket)/(key)",
                  "runNumber" : (number),
                  "retryNumber" : (number),
                  "status" : "(string)",
                  "totalTimeSpent" : (number),
                  "startTime" : (number),
                  "totalRecords" : (number),
                  "totalDuplicates" : (number),
                  "parsingErrors" : (number),
                  "datatypeMismatchErrors" : (number),
                  "insertErrors" : (number),
                }
              ],
              "errors" : {
                "startIndex" : (number),
                "endIndex" : (number),
                "loadId" : "(string),
                "errorLogs" : [ ]
              }
            }
          }

• status— Diperlukan: String, tipe: string (string yang dikodekan UTF-8).

  Kode respons HTTP untuk permintaan tersebut.

Galat

• BadRequestException

• InvalidParameterException

• BulkLoadIdNotFoundException

• ClientTimeoutException

• LoadUrlAccessDeniedException

• IllegalArgumentException

• TooManyRequestsException

• UnsupportedOperationException

• InternalFailureException

• PreconditionsFailedException

• ConstraintViolationException

• InvalidArgumentException

• MissingParameterException

ListLoaderJobs (tindakan)

        Nama AWS CLI untuk API ini adalah:. list-loader-jobs

Mengambil daftar loadIds untuk semua pekerjaan loader aktif.

Saat menjalankan operasi ini di cluster Neptunus yang mengaktifkan otentikasi IAM, pengguna IAM atau peran yang membuat permintaan harus memiliki kebijakan yang dilampirkan yang memungkinkan tindakan neptune-db: IAM di cluster itu.. ListLoaderJobs

Permintaan

• includeQueuedLoads(dalam CLI:--include-queued-loads) — Boolean, dari tipe: boolean (nilai Boolean (benar atau salah)).

  Parameter opsional yang dapat digunakan untuk mengecualikan ID pemuatan permintaan pemuatan antrian saat meminta daftar ID pemuatan dengan menyetel parameter ke. FALSE Nilai bawaannya adalah TRUE.

• limit(dalam CLI:--limit) — a ListLoaderJobsInputLimitInteger, tipe: integer (bilangan bulat 32-bit yang ditandatangani), tidak kurang dari 1 atau lebih dari 100? st? s.

  Jumlah ID pemuatan ke daftar. Harus bilangan bulat positif lebih besar dari nol dan tidak lebih dari 100 (yang merupakan default).

Respons

• payload — Wajib: Sebuah objek LoaderIdResult.

  Daftar ID pekerjaan yang diminta.

• status— Diperlukan: String, tipe: string (string yang dikodekan UTF-8).

  Mengembalikan status permintaan daftar pekerjaan.

Galat

• UnsupportedOperationException

• BadRequestException

• InvalidParameterException

• BulkLoadIdNotFoundException

• InternalFailureException

• ClientTimeoutException

• PreconditionsFailedException

• ConstraintViolationException

• InvalidArgumentException

• LoadUrlAccessDeniedException

• IllegalArgumentException

• TooManyRequestsException

CancelLoaderJob (tindakan)

        Nama AWS CLI untuk API ini adalah:. cancel-loader-job

Membatalkan pekerjaan pemuatan tertentu. Ini adalah DELETE permintaan HTTP. Lihat Neptune Loader Get-Status API untuk informasi selengkapnya.

Saat menjalankan operasi ini di cluster Neptunus yang mengaktifkan otentikasi IAM, pengguna IAM atau peran yang membuat permintaan harus memiliki kebijakan yang dilampirkan yang memungkinkan tindakan neptune-db: IAM di cluster itu.. CancelLoaderJob

Permintaan

• loadId(dalam CLI:--load-id) - Diperlukan: String, tipe: string (string yang dikodekan UTF-8).

  ID pekerjaan pemuatan yang akan dihapus.

Respons

• status— String, tipe: string (string yang dikodekan UTF-8).

  Status pembatalan.

Galat

• BadRequestException

• InvalidParameterException

• BulkLoadIdNotFoundException

• ClientTimeoutException

• LoadUrlAccessDeniedException

• IllegalArgumentException

• TooManyRequestsException

• UnsupportedOperationException

• InternalFailureException

• PreconditionsFailedException

• ConstraintViolationException

• InvalidArgumentException

• MissingParameterException

Struktur beban massal:

LoaderIdResult (struktur)

Berisi daftar ID pemuatan.

Bidang

• loadIds— Ini adalah String, tipe: string (string yang dikodekan UTF-8).

  Daftar ID pemuatan.