Memproses data grafik yang diekspor dari Neptune untuk pelatihan

Langkah pemrosesan data mengambil data grafik Neptune yang dibuat oleh proses ekspor dan menciptakan informasi yang digunakan oleh Deep Graph Library (DGL) selama pelatihan. Ini termasuk melakukan berbagai pemetaan data dan transformasi:

• Simpul parsing dan edge untuk membangun grafik- dan file pemetaan ID yang dibutuhkan oleh DGL.

• Mengkonversi properti simpul dan fitur simpul dan edge yang dibutuhkan oleh DGL.

• Memisahkan data ke dalam pelatihan, validasi, dan set tes.

Mengelola langkah pemrosesan data untuk Neptune ML

Setelah Anda mengekspor data dari Neptune yang ingin Anda gunakan untuk pelatihan model, Anda dapat memulai tugas pemrosesan data menggunakan perintah curl (atauawscurl) seperti berikut ini:

curl \
  -X POST https://(your Neptune endpoint)/ml/dataprocessing \
  -H 'Content-Type: application/json' \
  -d '{
        "inputDataS3Location" : "s3://(Amazon S3 bucket name)/(path to your input folder)",
        "id" : "(a job ID for the new job)",
        "processedDataS3Location" : "s3://(S3 bucket name)/(path to your output folder)",
        "configFileName" : "training-job-configuration.json"
      }'

Rincian tentang cara menggunakan perintah ini dijelaskan dalam Perintah pemrosesandata, bersama dengan informasi tentang cara untuk mendapatkan status tugas yang sedang berjalan, cara menghentikan tugas yang sedang berjalan, dan mendaftar semua pekerjaan yang sedang berjalan.

Memproses data grafik yang diperbarui untuk Neptune

Anda juga dapat memasokpreviousDataProcessingJobId ke API untuk memastikan bahwa pekerjaan pemrosesan data baru menggunakan metode pemrosesan yang sama dengan pekerjaan sebelumnya. Ini diperlukan ketika Anda ingin mendapatkan prediksi untuk data grafik yang diperbarui di Neptune, baik dengan melatih ulang model lama pada data baru, atau dengan menghitung ulang artefak model pada data baru.

Anda melakukan ini dengan menggunakancurl (atauawscurl) perintah seperti ini:

curl \
  -X POST https://(your Neptune endpoint)/ml/dataprocessing \
  -H 'Content-Type: application/json' \
  -d '{ "inputDataS3Location" : "s3://(Amazon S3 bucket name)/(path to your input folder)",
        "id" : "(a job ID for the new job)",
        "processedDataS3Location" : "s3://(Amazon S3 bucket name)/(path to your output folder)",
        "previousDataProcessingJobId", "(the job ID of the previous data-processing job)"}'

Tetapkan nilaipreviousDataProcessingJobId parameter ke ID pekerjaan pekerjaan pemrosesan data sebelumnya yang sesuai dengan model terlatih.

catatan

Penghapusan node dalam grafik yang diperbarui saat ini tidak didukung. Jika node telah dihapus dalam grafik yang diperbarui, Anda harus memulai pekerjaan pemrosesan data yang sama sekali baru daripada digunakanpreviousDataProcessingJobId.