Respons Get-Status Loader Neptune

Contoh respons berikut dari Neptunus API Get-Status menjelaskan keseluruhan struktur respons, menjelaskan berbagai bidang dan tipe datanya, serta penanganan kesalahan dan detail log kesalahan.

Tata letak Respons Dapatkan Status Neptunus Loader JSON

Tata letak umum respon status loader adalah sebagai berikut:

{
    "status" : "200 OK",
    "payload" : {
        "feedCount" : [
            {
                "LOAD_FAILED" : number
            }
        ],
        "overallStatus" : {
            "fullUri" : "s3://bucket/key",
            "runNumber" : number,
            "retryNumber" : number,
            "status" : "string",
            "totalTimeSpent" : number,
            "startTime" : number,
            "totalRecords" : number,
            "totalDuplicates" : number,
            "parsingErrors" : number,
            "datatypeMismatchErrors" : number,
            "insertErrors" : number,
        },
        "failedFeeds" : [
            {
                "fullUri" : "s3://bucket/key",
                "runNumber" : number,
                "retryNumber" : number,
                "status" : "string",
                "totalTimeSpent" : number,
                "startTime" : number,
                "totalRecords" : number,
                "totalDuplicates" : number,
                "parsingErrors" : number,
                "datatypeMismatchErrors" : number,
                "insertErrors" : number,
            }
        ],
        "errors" : {
            "startIndex" : number,
            "endIndex" : number,
            "loadId" : "string,
            "errorLogs" : [ ]
        }
    }
}

Objek respons overallStatus dan failedFeeds Get-Status Loader Neptune

Respons yang mungkin dikembalikan untuk setiap umpan gagal, termasuk deskripsi kesalahan, adalah sama seperti untuk objek overallStatus dalam respons Get-Status.

Bidang berikut ini muncul di objek overallStatus untuk semua pemuatan, dan objek failedFeeds untuk setiap umpan gagal:

• fullUri— File atau file yang akan dimuat. URI

  Jenis: string

  Format:s3://bucket/key.

• runNumber— Jumlah run dari pemuatan atau umpan ini. Ini bertambah ketika pemuatan dimulai ulang.

  Jenis: panjang yang tidak diberi tanda.

• retryNumber— Jumlah retry dari pemuatan atau umpan ini. Ini bertambah ketika loader secara otomatis mencoba ulang umpan atau pemuatan.

  Jenis: panjang yang tidak diberi tanda.

• status— Status yang dikembalikan dari pemuatan atau umpan. LOAD_COMPLETED menunjukkan pemuatan yang berhasil tanpa masalah. Untuk daftar pesan status beban lainnya, lihat. Pesan Kesalahan dan Umpan Neptune Loader

  Jenis: string.

• totalTimeSpent— Waktu, dalam hitungan detik, yang dihabiskan untuk mengurai dan memasukkan data untuk pemuatan atau umpan. Ini tidak termasuk waktu yang dihabiskan untuk mengambil daftar file sumber.

  Jenis: panjang yang tidak diberi tanda.

• totalRecords— Jumlah catatan yang dimuat atau dicoba untuk dimuat.

  Jenis: panjang yang tidak diberi tanda.

  Perhatikan bahwa saat memuat dari CSV file, jumlah catatan tidak mengacu pada jumlah baris yang dimuat, melainkan jumlah catatan individual di baris tersebut. Misalnya, ambil CSV file kecil seperti ini:

  ~id,~label,name,team
  'P-1','Player','Stokes','England'

  Neptunus akan menganggap file ini berisi 3 catatan, yaitu:

  P-1  label Player
  P-1  name  Stokes
  P-1  team  England

• totalDuplicates— Jumlah catatan duplikat yang ditemui.

  Jenis: panjang yang tidak diberi tanda.

  Seperti dalam kasus totalRecords penghitungan, nilai ini berisi jumlah catatan duplikat individu dalam CSV file, bukan jumlah baris duplikat. Ambil CSV file kecil ini, misalnya:

  ~id,~label,name,team
  P-2,Player,Kohli,India
  P-2,Player,Kohli,India

  Status yang dikembalikan setelah memuatnya akan terlihat seperti ini, melaporkan 6 total catatan, 3 di antaranya adalah duplikat:

  {
    "status": "200 OK",
    "payload": {
      "feedCount": [
        {
          "LOAD_COMPLETED": 1
        }
      ],
      "overallStatus": {
        "fullUri": "(the URI of the CSV file)",
        "runNumber": 1,
        "retryNumber": 0,
        "status": "LOAD_COMPLETED",
        "totalTimeSpent": 3,
        "startTime": 1662131463,
        "totalRecords": 6,
        "totalDuplicates": 3,
        "parsingErrors": 0,
        "datatypeMismatchErrors": 0,
        "insertErrors": 0
      }
    }
  }

  Untuk openCypher beban, duplikat dihitung ketika:

  • Loader mendeteksi bahwa baris dalam file node memiliki ID tanpa ruang ID yang sama dengan nilai ID lain tanpa ruang ID, baik di baris lain atau milik node yang ada.

  • Loader mendeteksi bahwa baris dalam file node memiliki ID dengan ruang ID yang sama dengan nilai ID lain dengan ruang ID, baik di baris lain atau milik node yang ada.

  Lihat Pertimbangan khusus untuk memuat data openCypher .

• parsingErrors— Jumlah kesalahan penguraian yang ditemui.

  Jenis: panjang yang tidak diberi tanda.

• datatypeMismatchErrors— Jumlah catatan dengan tipe data yang tidak cocok dengan data yang diberikan.

  Jenis: panjang yang tidak diberi tanda.

• insertErrors— Jumlah catatan yang tidak dapat dimasukkan karena kesalahan.

  Jenis: panjang yang tidak diberi tanda.

Objek respons errors Get-Status Loader Neptune

Kesalahan termasuk ke dalam kategori berikut:

• Error 400— Invalid loadId mengembalikan kesalahan permintaan yang HTTP 400 buruk. Pesan ini menjelaskan kesalahan.

• Error 500— Permintaan valid yang tidak dapat diproses mengembalikan kesalahan server HTTP 500 internal. Pesan ini menjelaskan kesalahan.

Lihat Pesan Kesalahan dan Umpan Neptune Loader untuk daftar pesan kesalahan dan umpan yang dikembalikan oleh loader jika terjadi kesalahan.

Ketika kesalahan terjadi, JSON errors objek dikembalikan dalam BODY respon, dengan bidang berikut:

• startIndex — Indeks kesalahan pertama yang disertakan.

  Jenis: panjang yang tidak diberi tanda.

• endIndex — Indeks kesalahan terakhir yang disertakan.

  Jenis: panjang yang tidak diberi tanda.

• loadId — ID pemuatan. Anda dapat menggunakan ID ini untuk mencetak kesalahan untuk pemuatan dengan menetapkan parameter errors ke TRUE.

  Jenis: string.

• errorLogs — Daftar kesalahan.

  Jenis: daftar.

Objek respons errorLogs Get-Status Loader Neptune

Objek errorLogs di bawah errors dalam respons Get-Status loader berisi objek yang menggambarkan setiap kesalahan menggunakan bidang berikut:

• errorCode — Mengidentifikasi sifat kesalahan.

  Status ini dapat berupa salah satu dari nilai berikut:

  • PARSING_ERROR

  • S3_ACCESS_DENIED_ERROR

  • FROM_OR_TO_VERTEX_ARE_MISSING

  • ID_ASSIGNED_TO_MULTIPLE_EDGES

  • SINGLE_CARDINALITY_VIOLATION

  • FILE_MODIFICATION_OR_DELETION_ERROR

  • OUT_OF_MEMORY_ERROR

  • INTERNAL_ERROR (dikembalikan ketika loader massal tidak dapat menentukan jenis kesalahan).

• errorMessage — Sebuah pesan yang menjelaskan kesalahan.

  Ini bisa berupa pesan generik yang terkait dengan kode kesalahan atau pesan spesifik yang berisi rincian, misalnya tentang vertex from/to yang hilang atau tentang kesalahan penguraian.

• fileName — Nama umpan.

• recordNum — Dalam kasus kesalahan penguraian, ini adalah nomor catatan dalam file catatan yang tidak dapat diurai. Hal ini diatur ke nol jika nomor catatan tidak berlaku untuk kesalahan, atau jika tidak dapat ditentukan.

Misalnya, pemuat massal akan menghasilkan kesalahan penguraian jika menemukan baris yang salah seperti berikut dalam file RDFnquads:

<http://base#subject> |http://base#predicate> <http://base#true> .

Seperti yang Anda lihat, http yang kedua pada baris di atas harus didahului oleh < ketimbang |. Objek kesalahan yang dihasilkan di bawah errorLogs dalam respon status akan terlihat seperti ini:

{
    "errorCode" : "PARSING_ERROR",
    "errorMessage" : "Expected '<', found: |",
    "fileName" : "s3://bucket/key",
    "recordNum" : 12345
},