Menggunakan alat neptune-export atau layanan Neptune-Ekspor untuk mengekspor data dari Neptune untuk Neptune ML

Neptune, Anda harus memberikan data pelatihan untuk Deep Graph Library (DGL) untuk membuat dan mengevaluasi model.

Anda dapat mengekspor data dari Neptune menggunakan layanan Neptunus-Ekspor, atau neptune-exportutilitas. Baik layanan dan alat baris perintah mempublikasikan data ke Amazon Simple Storage Service (Amazon S3) dalam format CSV, dienkripsi menggunakan enkripsi sisi server Amazon S3 (SSE-S3). Lihat File yang diekspor oleh Neptune-Ekspor dan neptune-export.

Selain itu, ketika Anda mengkonfigurasi ekspor data pelatihan untuk Neptune, pekerjaan ekspor membuat dan menerbitkan file konfigurasi model pelatihan terenkripsi bersama dengan data yang diekspor. Secara default, file ini dinamaitraining-data-configuration.json.

Contoh penggunaan layanan Ekspor Neptune-untuk mengekspor data pelatihan untuk Neptune

Permintaan ini mengekspor data pelatihan grafik properti untuk tugas klasifikasi node:

curl \
  (your NeptuneExportApiUri) \
  -X POST \
  -H 'Content-Type: application/json' \
  -d '{
        "command": "export-pg",
        "outputS3Path": "s3://(your Amazon S3 bucket)/neptune-export",
        "params": {
          "endpoint": "(your Neptune endpoint DNS name)",
          "profile": "neptune_ml"
        },
        "additionalParams": {
          "neptune_ml": {
            "version": "v2.0",
            "targets": [
              {
                "node": "Movie",
                "property": "genre",
                "type": "classification"
              }
            ]
          }
        }
      }'

Permintaan ini mengekspor data pelatihan RDF untuk tugas klasifikasi node:

curl \
  (your NeptuneExportApiUri) \
  -X POST \
  -H 'Content-Type: application/json' \
  -d '{
        "command": "export-rdf",
        "outputS3Path": "s3://(your Amazon S3 bucket)/neptune-export",
        "params": {
          "endpoint": "(your Neptune endpoint DNS name)",
          "profile": "neptune_ml"
        },
        "additionalParams": {
          "neptune_ml": {
            "version": "v2.0",
            "targets": [
              {
                "node": "http://aws.amazon.com/neptune/csv2rdf/class/Movie",
                "predicate": "http://aws.amazon.com/neptune/csv2rdf/datatypeProperty/genre",
                "type": "classification"
              }
            ]
          }
        }
      }'

Bidang yang akan disetel dalamparams objek saat mengekspor data pelatihan

paramsObjek dalam permintaan ekspor dapat berisi berbagai bidang, seperti yang dijelaskan dalam paramsdokumentasi. Berikut ini paling relevan untuk mengekspor data pelatihan pembelajaran mesin:

• endpoint— Gunakanendpoint untuk menentukan titik akhir dari instans Neptune di klaster DB klaster DB yang dapat dikueri oleh proses ekspor untuk mengekstrak data.

• profile-profile Bidang dalamparams objek harus diatur ke neptune-ml.

  Hal ini menyebabkan proses ekspor memformat data yang diekspor dengan tepat untuk pelatihan model Neptune ML, dalam format CSV untuk data grafik properti atau sebagai N-Triple untuk data RDF. Ini juga menyebabkantraining-data-configuration.json file dibuat dan ditulis ke lokasi Amazon S3 yang sama dengan data pelatihan yang diekspor.

• cloneCluster- Jika diatur ketrue, proses ekspor mengkloning klaster DB Anda, mengekspor dari klon, dan kemudian menghapus klon setelah selesai.

• useIamAuth- Jika klaster DB Anda memiliki otentikasi IAM diaktifkan, Anda harus menyertakan bidang ini diatur ketrue.

Proses ekspor juga menyediakan beberapa cara untuk memfilter data yang Anda ekspor (lihat contoh ini).

MenggunakanadditionalParams objek untuk menyetel ekspor informasi model-pelatihan

additionalParamsObjek berisi bidang yang dapat Anda gunakan untuk menentukan label dan fitur kelas pembelajaran mesin untuk tujuan pelatihan dan memandu pembuatan file konfigurasi data pelatihan.

Proses ekspor tidak dapat secara otomatis menyimpulkan properti simpul dan edge mana yang harus menjadi label kelas pembelajaran mesin untuk dijadikan contoh untuk tujuan pelatihan. Ini juga tidak dapat secara otomatis menyimpulkan pengkodean fitur terbaik untuk properti numerik, kategoris dan teks, jadi Anda perlu menyediakan petunjuk menggunakan bidang diadditionalParams objek untuk menentukan hal-hal ini, atau untuk mengganti pengkodean default.

Untuk data grafik properti, struktur tingkat atasadditionalParams dalam permintaan ekspor mungkin terlihat seperti ini:

{
  "command": "export-pg",
  "outputS3Path": "s3://(your Amazon S3 bucket)/neptune-export",
  "params": {
    "endpoint": "(your Neptune endpoint DNS name)",
    "profile": "neptune_ml"
  },
  "additionalParams": {
      "neptune_ml": {
        "version": "v2.0",
        "targets": [ (an array of node and edge class label targets) ],
        "features": [ (an array of node feature hints) ]
    }
  }
}

Untuk data RDF, struktur tingkat atas mungkin terlihat seperti ini:

{
  "command": "export-rdf",
  "outputS3Path": "s3://(your Amazon S3 bucket)/neptune-export",
  "params": {
    "endpoint": "(your Neptune endpoint DNS name)",
    "profile": "neptune_ml"
  },
  "additionalParams": {
      "neptune_ml": {
        "version": "v2.0",
        "targets": [ (an array of node and edge class label targets) ]
    }
  }
}

Anda juga dapat menyediakan beberapa konfigurasi ekspor, menggunakanjobs bidang:

{
  "command": "export-pg",
  "outputS3Path": "s3://(your Amazon S3 bucket)/neptune-export",
  "params": {
    "endpoint": "(your Neptune endpoint DNS name)",
    "profile": "neptune_ml"
  },
  "additionalParams" : {
    "neptune_ml" : {
      "version": "v2.0",
      "jobs": [
        {
          "name" : "(training data configuration name)",
          "targets": [ (an array of node and edge class label targets) ],
          "features": [ (an array of node feature hints) ]
        },
        {
          "name" : "(another training data configuration name)",
          "targets": [ (an array of node and edge class label targets) ],
          "features": [ (an array of node feature hints) ]
        }
      ]
    }
  }
}

Elemen tingkat atas dineptune_ml lapangan diadditionalParams

versionUnsur dineptune_ml

Menentukan versi konfigurasi data pelatihan yang akan dihasilkan.

(Opsional), Jenis: string, Default: “v2.0".

Jika Anda menyertakanversion, set kev2.0.

jobsBidang dineptune_ml

Berisi array objek konfigurasi pelatihan-data, yang masing-masing mendefinisikan pekerjaan pemrosesan data, dan berisi:

• name- Nama konfigurasi data pelatihan yang akan dibuat.

  Misalnya, konfigurasi data pelatihan dengan nama “job-number-1" menghasilkan file konfigurasi data pelatihan bernamajob-number-1.json.

• targets- Array JSON dari target label kelas node dan tepi yang mewakili label kelas pembelajaran mesin untuk tujuan pelatihan. Lihat targetsBidang dalam sebuahneptune_ml objek.

• features- Sebuah array JSON fitur properti node. Lihat featuresBidang dineptune_ml.