Konfigurasikan Plugin Filter CLI Slurm pada cluster PCS AWS

Konfigurasikan Plugin Filter CLI saat Anda membuat cluster PCS baru AWS . Anda dapat mengaktifkan atau menonaktifkan Plugin Filter CLI pada cluster yang ada menggunakan API Pembaruan atau konsol tanpa membuat ulang cluster.

Prasyarat

Sebelum Anda mengkonfigurasi Plugin Filter CLI, selesaikan tugas-tugas ini:

• Tulis dan uji skrip Lua yang mengimplementasikan CLI Filter Plugin API

• Beri nama skrip Lua Anda dengan tepat cli_filter.lua

• Pilih metode untuk menyebarkan skrip Anda ke semua instance cluster (AMI, S3, atau sistem file)

• Verifikasi Anda menggunakan Slurm versi 24.11 atau yang lebih baru

Aktifkan Plugin Filter CLI pada cluster baru

AWS PCS console

1. Buka konsol AWS PCS di https://console.aws.amazon.com/pcs/.

2. Di panel navigasi, pilih Kluster.

3. Pilih Buat kluster.

4. Pilih versi Slurm yang valid (versi 24.11 atau yang lebih baru).

5. Di bawah Pengaturan penjadwal, perluas Pengaturan penjadwal tambahan.

6. Tambahkan pengaturan kustom Slurm baru dengan nama Parameter diatur ke CliFilterPlugins dan nilai Parameter diatur ke. cli_filter/lua

7. Selesaikan konfigurasi cluster yang tersisa dan pilih Create cluster.

AWS PCS API

Berikan slurmCustomSettings konfigurasi dalam panggilan Anda ke tindakan CreateCluster API. Atur parameterName ke CliFilterPlugins dan parameterValue kecli_filter/lua. Untuk informasi selengkapnya, lihat CreateClusterdi Referensi AWS PCS API.

Contoh berikut menggunakan AWS CLI untuk memanggil tindakan CreateCluster API. Pengaturan khusus CliFilterPlugins=cli_filter/lua memungkinkan Plugin Filter CLI.

aws pcs create-cluster --cluster-name cluster-name \
--scheduler type=SLURM,version=24.11 \
--size SMALL \
--networking subnetIds=cluster-subnet-id,securityGroupIds=cluster-security-group-id \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Menyebarkan skrip Plugin Filter CLI

Untuk menyebarkan skrip Plugin Filter CLI ke cluster Anda

1. Pastikan semua yang AMIs digunakan dalam grup node komputasi memiliki Slurm diinstal melalui penginstal AWS PCS Slurm.

   catatan

   Jika Anda menggunakan AWS PCS Sample AMI untuk semua grup node komputasi, lewati langkah ini. Slurm sudah diinstal.

2. Terapkan cli_filter.lua skrip Anda ke /etc/aws/pcs/scheduler/slurm-<version>/cli_filter.lua semua instance di cluster.

   Misalnya, untuk Slurm versi 24.11:

   /etc/aws/pcs/scheduler/slurm-24.11/cli_filter.lua

3. Luncurkan semua login dan hitung node menggunakan siap AMIs Anda.

4. Uji pengajuan pekerjaan untuk memverifikasi Plugin Filter CLI dijalankan dengan benar.

Mengaktifkan atau menonaktifkan Plugin Filter CLI pada cluster yang ada

Anda dapat mengaktifkan atau menonaktifkan Plugin Filter CLI pada cluster yang ada tanpa membangun kembali infrastruktur Anda. Untuk informasi selengkapnya, lihat Memperbarui cluster di AWS PCS.

AWS PCS console

1. Buka konsol AWS PCS di https://console.aws.amazon.com/pcs/.

2. Pada panel navigasi, silakan pilih Klaster.

3. Pilih cluster yang akan diperbarui.

4. Pilih Edit tindakan.

5. Pada halaman Edit cluster, di bawah Pengaturan penjadwal tambahan:

   • Untuk mengaktifkan Plugin Filter CLI: Tambahkan pengaturan kustom Slurm baru dengan nama Parameter diatur ke CliFilterPlugins dan nilai Parameter diatur ke. cli_filter/lua

   • Untuk menonaktifkan Plugin Filter CLI: Hapus pengaturan yang ada. CliFilterPlugins

6. Pilih Perbarui klaster untuk mengirimkan perubahan.

7. Pantau status cluster, yang ditampilkan sebagai “Memperbarui” selama proses dan “Aktif” saat pembaruan selesai.

AWS PCS API

Gunakan tindakan UpdateCluster API untuk mengaktifkan atau menonaktifkan Plugin Filter CLI. Untuk informasi selengkapnya, lihat UpdateClusterdi Referensi AWS PCS API.

Untuk mengaktifkan Plugin Filter CLI pada cluster yang ada:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Untuk menonaktifkan Plugin Filter CLI pada cluster yang ada:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[]'

Hasil yang diharapkan

Setelah Anda menyelesaikan konfigurasi:

• Cluster Anda dibuat dengan Plugin Filter CLI diaktifkan

• Pengajuan Job memicu logika validasi kustom Anda sebelum mencapai pengontrol Slurm

• Pekerjaan yang tidak sesuai ditolak dengan pesan kesalahan khusus Anda

• Pekerjaan yang sesuai berjalan normal melalui penjadwal Slurm

Pemecahan masalah

Skrip Plugin Filter CLI hilang pada node apa pun

Gejala: Pengajuan Job segera gagal dengan kesalahan pemuatan plugin.

Kemungkinan penyebabnya: Skrip tidak diterapkan ke semua instance atau jalur atau nama file yang salah.

Resolusi: Verifikasi skrip ada di jalur yang benar pada semua node login dan komputasi dengan nama file cli_filter.lua yang tepat.

Konfigurasi Plugin Filter CLI tidak valid

Gejala: Pembuatan cluster gagal dengan kesalahan validasi.

Kemungkinan penyebab: CliFilterPlugins parameter tidak disetel ke cli_filter/lua format.

Resolusi: Gunakan nilai parameter yang tepat cli_filter/lua dislurmCustomSettings.