Menggunakan Ray Core dan Ray Data AWS Glue untuk Ray

Ray adalah kerangka kerja untuk meningkatkan skrip Python dengan mendistribusikan karya di seluruh cluster. Anda dapat menggunakan Ray sebagai solusi untuk berbagai macam masalah, sehingga Ray menyediakan perpustakaan untuk mengoptimalkan tugas-tugas tertentu. DiAWS Glue, kami fokus menggunakan Ray untuk mengubah kumpulan data besar. AWS Gluemenawarkan dukungan untuk Ray Data dan bagian dari Ray Core untuk memfasilitasi tugas ini.

Apa itu Ray Core?

Langkah pertama membangun aplikasi terdistribusi adalah mengidentifikasi dan mendefinisikan pekerjaan yang dapat dilakukan secara bersamaan. Ray Core berisi bagian-bagian Ray yang Anda gunakan untuk menentukan tugas yang dapat dilakukan secara bersamaan. Ray menyediakan referensi dan informasi mulai cepat yang dapat Anda gunakan untuk mempelajari alat yang mereka sediakan. Untuk informasi lebih lanjut, lihat Apa itu Ray Core? dan Mulai Cepat Ray Core. Untuk informasi selengkapnya tentang mendefinisikan tugas bersamaan secara efektif di Ray, lihat Tips untuk pengguna pertama kali.

Tugas dan aktor Ray

AWS GlueUntuk dokumentasi Ray, kita mungkin merujuk pada tugas dan aktor, yang merupakan konsep inti dalam Ray.

Ray menggunakan fungsi dan kelas Python sebagai blok bangunan dari sistem komputasi terdistribusi. Sama seperti ketika fungsi dan variabel Python menjadi “metode” dan “atribut” ketika digunakan di kelas, fungsi menjadi “tugas” dan kelas menjadi “aktor” ketika mereka digunakan di Ray untuk mengirim kode ke pekerja. Anda dapat mengidentifikasi fungsi dan kelas yang mungkin digunakan oleh Ray dengan @ray.remote anotasi.

Tugas dan aktor dapat dikonfigurasi, mereka memiliki siklus hidup, dan mereka mengambil sumber daya komputasi sepanjang hidup mereka. Kode yang melempar kesalahan dapat ditelusuri kembali ke tugas atau aktor ketika Anda menemukan akar penyebab masalah. Dengan demikian, istilah-istilah ini mungkin muncul ketika Anda mempelajari cara mengonfigurasi, memantau, atau men-debug AWS Glue untuk pekerjaan Ray.

Untuk mulai mempelajari cara menggunakan tugas dan aktor secara efektif untuk membangun aplikasi terdistribusi, lihat Konsep Utama dalam dokumen Ray.

Ray Core AWS Glue untuk Ray

AWS Glueuntuk lingkungan Ray mengelola pembentukan dan penskalaan cluster, serta mengumpulkan dan memvisualisasikan log. Karena kami mengelola masalah ini, akibatnya kami membatasi akses dan dukungan untuk API di Ray Core yang akan digunakan untuk mengatasi masalah ini di cluster sumber terbuka.

Di lingkungan Ray2.4 runtime terkelola, kami tidak mendukung:

• CLI Inti Sinar

• CLI Negara Bagian Ray

• ray.util.metricsMetode utilitas metrik Prometheus:

  • Penghitung

  • Gauge

  • Histogram

• Alat debugging lainnya:

  • ray.util.pdb.set_trace

  • ray.util.inspect_serializability

  • garis waktu ray.

Apa itu Ray Data?

Saat Anda terhubung ke sumber data dan tujuan, menangani kumpulan data, dan memulai transformasi umum, Ray Data adalah metodologi langsung untuk menggunakan Ray untuk memecahkan masalah dalam mengubah kumpulan data Ray. Untuk informasi selengkapnya tentang penggunaan Ray Data, lihat Ray Datasets: Distributed Data Preprocessing.

Anda dapat menggunakan Ray Data atau alat lain untuk mengakses data Anda. Untuk informasi selengkapnya tentang mengakses data Anda di Ray, lihatMenghubungkan ke data dalam pekerjaan Ray.

Ray Data AWS Glue untuk Ray

Ray Data didukung dan disediakan secara default di lingkungan Ray2.4 runtime terkelola. Untuk informasi selengkapnya tentang modul yang disediakan, lihatModul disediakan dengan pekerjaan Ray.