Membuat grup node komputasi di AWS PCS

Topik ini memberikan ikhtisar opsi yang tersedia dan menjelaskan apa yang harus dipertimbangkan saat Anda membuat grup node komputasi di AWS Parallel Computing Service (AWS PCS). Jika ini adalah pertama kalinya Anda membuat grup node komputasi di AWS PCS, kami sarankan Anda mengikuti tutorial diMemulai dengan AWS PCS. Tutorial ini dapat membantu Anda membuat HPC sistem kerja tanpa memperluas ke semua opsi yang tersedia dan arsitektur sistem yang mungkin.

Prasyarat

• Kuota layanan yang memadai untuk meluncurkan jumlah EC2 instans yang diinginkan di Anda. Wilayah AWS Anda dapat menggunakan AWS Management Consoleuntuk memeriksa dan meminta kenaikan kuota layanan Anda.

• Subnet yang sudah ada VPC dan yang memenuhi persyaratan AWS PCS jaringan. Kami menyarankan agar Anda benar-benar memahami persyaratan ini sebelum Anda menerapkan klaster untuk penggunaan produksi. Untuk informasi selengkapnya, lihat AWS PCSVPCdan persyaratan dan pertimbangan subnet. Anda juga dapat menggunakan CloudFormation template untuk membuat VPC dan subnet. AWS menyediakan HPC resep untuk CloudFormation template. Untuk informasi lebih lanjut, lihat aws-hpc-recipesdi GitHub.

• Profil IAM instans dengan izin untuk memanggil AWS PCS RegisterComputeNodeGroupInstance API tindakan dan akses ke AWS sumber daya lain yang diperlukan untuk instance grup node Anda. Untuk informasi selengkapnya, lihat IAMprofil instance untuk Layanan Komputasi AWS Paralel.

• Template peluncuran untuk instance grup node Anda. Untuk informasi selengkapnya, lihat Menggunakan template EC2 peluncuran Amazon dengan AWS PCS.

• Untuk membuat grup node komputasi yang menggunakan instans Amazon EC2 Spot, Anda harus memiliki peran yang AWSServiceRoleForEC2Spotditautkan layanan di dalamnya. Akun AWS Untuk informasi selengkapnya, lihat Peran Amazon EC2 Spot untuk AWS PCS.

Buat grup node komputasi di AWS PCS

Anda dapat membuat grup node komputasi menggunakan AWS Management Console atau. AWS CLI

AWS Management Console

Untuk membuat grup node komputasi menggunakan konsol

1. Buka AWS PCSkonsol.

2. Pilih cluster tempat Anda ingin membuat grup node komputasi. Arahkan ke Compute node groups dan pilih Create.

3. Di bagian pengaturan grup node komputasi, berikan nama untuk grup node Anda. Nama hanya dapat berisi karakter alfanumerik peka huruf besar/kecil dan tanda hubung. Itu harus dimulai dengan karakter alfabet dan tidak boleh lebih dari 25 karakter. Nama harus unik di dalam cluster.

4. Di bawah konfigurasi Komputasi, masukkan atau pilih nilai-nilai ini:

   1. EC2template peluncuran - Pilih template peluncuran kustom untuk digunakan untuk grup node ini. Template peluncuran dapat digunakan untuk menyesuaikan pengaturan jaringan seperti subnet, dan grup keamanan, konfigurasi pemantauan, dan penyimpanan tingkat instance. Jika Anda belum menyiapkan template peluncuran, lihat Menggunakan template EC2 peluncuran Amazon dengan AWS PCS untuk mempelajari cara membuatnya.

      penting

      AWS PCSmembuat template peluncuran terkelola untuk setiap grup node komputasi. Ini dinamaipcs-identifier-do-not-delete. Jangan pilih ini saat Anda membuat atau memperbarui grup node komputasi, atau grup node tidak akan berfungsi dengan benar.

   2. EC2luncurkan versi template - Pilih versi template peluncuran kustom Anda. Anda dapat memilih versi tertentu, yang dapat meningkatkan reproduktifitas. Jika Anda mengubah versi nanti, Anda harus memperbarui grup node komputasi untuk mendeteksi perubahan dalam template peluncuran. Untuk informasi selengkapnya, lihat Memperbarui grup node AWS PCS komputasi.

   3. AMIID — jika template peluncuran Anda tidak menyertakan AMI ID, atau jika Anda ingin mengganti nilai dalam template peluncuran, berikan AMI ID di sini. Perhatikan bahwa yang AMI digunakan untuk grup node harus kompatibel dengan AWS PCS. Anda juga dapat memilih sampel yang AMI disediakan oleh AWS. Untuk informasi lebih lanjut tentang topik ini, lihatGambar Mesin Amazon (AMIs) untuk AWS PCS.

   4. IAMprofil instance - Pilih profil instance untuk grup simpul. Profil instans memberikan izin instans untuk mengakses AWS sumber daya dan layanan dengan aman. Jika Anda belum menyiapkannya, lihat IAMprofil instance untuk Layanan Komputasi AWS Paralel untuk mempelajari cara membuatnya.

   5. Subnet — Pilih satu atau beberapa subnet di VPC tempat AWS PCS klaster Anda digunakan. Jika Anda memilih beberapa subnet, EFA komunikasi tidak akan tersedia di antara node, dan komunikasi antar node dalam subnet yang berbeda mungkin telah meningkatkan latensi. Pastikan subnet yang Anda tentukan di sini cocok dengan apa pun yang Anda tentukan dalam template EC2 peluncuran.

   6. Instance — Pilih satu atau beberapa jenis instance untuk memenuhi permintaan penskalaan dalam grup node. Semua tipe instance harus memiliki arsitektur prosesor yang sama (x864_64 atau arm64) dan jumlah. vCPUs Jika instance memilikiGPUs, semua jenis instance harus memiliki jumlah yang sama. GPUs

   7. Konfigurasi penskalaan - Tentukan jumlah instance minimum dan maksimum untuk grup node. Anda dapat menentukan konfigurasi statis, di mana ada sejumlah node tetap yang berjalan, atau konfigurasi dinamis, di mana hingga jumlah maksimum node dapat berjalan. Untuk konfigurasi statis, atur minimum dan maksimum ke angka yang sama, lebih besar dari angka nol. Untuk konfigurasi dinamis, atur instance minimum ke nol dan instance maksimum ke angka yang lebih besar dari nol. AWS PCStidak mendukung grup node komputasi dengan campuran instance statis dan dinamis.

5. (Opsional) Di bawah Pengaturan tambahan, tentukan yang berikut ini:

   1. Opsi pembelian — pilih antara instans Spot dan On-Demand.

   2. Strategi alokasi — jika Anda telah memilih opsi pembelian Spot, Anda dapat menentukan bagaimana kumpulan kapasitas Spot dipilih saat meluncurkan instance di grup node. Untuk informasi selengkapnya, lihat Strategi alokasi untuk Instans Spot di Panduan Pengguna Amazon Elastic Compute Cloud. Opsi ini tidak berpengaruh jika Anda telah memilih opsi Pembelian sesuai permintaan.

6. (Opsional) Di bagian pengaturan Slurm khusus, berikan nilai-nilai ini:

   1. Berat - Nilai ini menetapkan prioritas node dalam grup untuk tujuan penjadwalan. Node dengan bobot yang lebih rendah memiliki prioritas yang lebih tinggi, dan unitnya arbitrer. Untuk informasi selengkapnya, lihat Berat dalam Slurm dokumentasi.

   2. Memori nyata — Nilai ini menetapkan ukuran (dalam GB) memori nyata pada node dalam grup node. Ini dimaksudkan untuk digunakan bersama dengan CR_CPU_Memory opsi dalam Slurm konfigurasi Cluster di AWS PCS. Untuk informasi lebih lanjut, lihat RealMemorydi Slurm dokumentasi.

7. (Opsional) Di bawah Tag, tambahkan tag apa pun ke grup node komputasi Anda.

8. Pilih Buat grup node komputasi. Bidang Status menunjukkan Creating sementara AWS PCS ketentuan grup node. Ini dapat memakan waktu beberapa menit.

Direkomendasikan langkah selanjutnya

• Tambahkan grup node Anda ke antrian AWS PCS untuk memungkinkannya memproses pekerjaan.

AWS CLI

Untuk membuat grup node komputasi Anda menggunakan AWS CLI

Buat antrian Anda dengan perintah berikut. Sebelum menjalankan perintah, buat penggantian berikut:

1. Ganti regiondengan ID Wilayah AWS untuk membuat cluster Anda, sepertius-east-1.

2. Ganti my-cluster dengan nama atau clusterId klaster Anda.

3. Ganti my-node-groupdengan nama untuk grup node komputasi Anda. Nama hanya dapat berisi karakter alfanumerik (peka huruf besar/kecil) dan tanda hubung. Itu harus dimulai dengan karakter alfabet dan tidak boleh lebih dari 25 karakter. Nama harus unik di dalam cluster.

4. Ganti subnet-ExampleID1 dengan satu atau lebih subnet IDs dari cluster VPC Anda.

5. Ganti lt-ExampleID1 dengan ID untuk template peluncuran kustom Anda. Jika Anda belum menyiapkannya, lihat Menggunakan template EC2 peluncuran Amazon dengan AWS PCS untuk mempelajari cara membuatnya.

   penting

   AWS PCSmembuat template peluncuran terkelola untuk setiap grup node komputasi. Ini dinamaipcs-identifier-do-not-delete. Jangan pilih ini saat Anda membuat atau memperbarui grup node komputasi, atau grup node tidak akan berfungsi dengan benar.

6. Ganti launch-template-version dengan versi template peluncuran tertentu jika Anda ingin mengaitkan grup node Anda dengan versi tertentu.

7. Ganti arn:InstanceProfiledengan profil IAM instans Anda. ARN Jika Anda belum menyiapkannya, lihat Menggunakan template EC2 peluncuran Amazon dengan AWS PCS bimbingan.

8. Ganti min-instances and max-instances dengan nilai integer. Anda dapat menentukan konfigurasi statis, di mana ada sejumlah node tetap yang berjalan, atau konfigurasi dinamis, di mana hingga jumlah maksimum node dapat berjalan. Untuk konfigurasi statis, atur minimum dan maksimum ke angka yang sama, lebih besar dari angka nol. Untuk konfigurasi dinamis, atur instance minimum ke nol dan instance maksimum ke angka yang lebih besar dari nol. AWS PCStidak mendukung grup node komputasi dengan campuran instance statis dan dinamis.

9. Ganti t3.large dengan tipe instance lain. Anda dapat menambahkan lebih banyak jenis instance dengan menentukan daftar instanceType pengaturan. Misalnya, --instance-configs instanceType=c6i.16xlarge,instanceType=c6a.16xlarge. Semua tipe instance harus memiliki arsitektur prosesor yang sama (x864_64 atau arm64) dan jumlah. vCPUs Jika instance memilikiGPUs, semua jenis instance harus memiliki jumlah yang sama. GPUs

aws pcs create-compute-node-group --region region \
    --cluster-identifier my-cluster \
    --compute-node-group-name my-node-group \
    --subnet-ids subnet-ExampleID1 \
    --custom-launch-template id=lt-ExampleID1,version='launch-template-version' \
    --iam-instance-profile arn=arn:InstanceProfile \
    --scaling-config minInstanceCount=min-instances,maxInstanceCount=max-instance \
    --instance-configs instanceType=t3.large

Ada beberapa pengaturan konfigurasi opsional yang dapat Anda tambahkan ke create-compute-node-group perintah.

• Anda dapat menentukan --amiId apakah templat peluncuran kustom Anda tidak menyertakan referensi keAMI, atau jika Anda ingin mengganti nilai tersebut. Perhatikan bahwa yang AMI digunakan untuk grup node harus kompatibel dengan AWS PCS. Anda juga dapat memilih sampel yang AMI disediakan oleh AWS. Untuk informasi lebih lanjut tentang topik ini, lihatGambar Mesin Amazon (AMIs) untuk AWS PCS.

• Anda dapat memilih antara instans on-demand (ONDEMAND) dan Spot (SPOT) menggunakan. --purchase-option On-demand adalah default. Jika Anda memilih instans Spot, Anda juga dapat menggunakan --allocation-strategy untuk menentukan cara AWS PCS memilih kumpulan kapasitas Spot saat meluncurkan instance di grup node. Untuk informasi selengkapnya, lihat Strategi alokasi untuk Instans Spot di Panduan Pengguna Amazon Elastic Compute Cloud.

• Dimungkinkan untuk memberikan opsi Slurm konfigurasi untuk node dalam kelompok node menggunakan--slurm-configuration. Anda dapat mengatur bobot (prioritas penjadwalan) dan memori nyata. Node dengan bobot yang lebih rendah memiliki prioritas yang lebih tinggi, dan unitnya arbitrer. Untuk informasi selengkapnya, lihat Berat dalam Slurm dokumentasi. Memori nyata menetapkan ukuran (dalam GB) memori nyata pada node dalam grup node. Ini dimaksudkan untuk digunakan bersama dengan CR_CPU_Memory opsi untuk cluster AWS PCS dalam Slurm konfigurasi Anda. Untuk informasi lebih lanjut, lihat RealMemorydi Slurm dokumentasi.

penting

Diperlukan beberapa menit untuk membuat grup node komputasi.

Anda dapat menanyakan status grup node Anda dengan perintah berikut. Anda tidak akan dapat mengaitkan grup node dengan antrian sampai statusnya tercapaiACTIVE.

aws pcs get-compute-node-group --region region \
    --cluster-identifier my-cluster \
    --compute-node-group-identifier my-node-group