Konfigurasikan dan buat cluster dengan antarmuka baris AWS ParallelCluster perintah

Setelah Anda menginstal AWS ParallelCluster, selesaikan langkah-langkah konfigurasi berikut.

Verifikasi bahwa AWS Akun Anda memiliki peran yang mencakup izin yang diperlukan untuk menjalankan pcluster CLI. Untuk informasi selengkapnya, lihat AWS ParallelCluster contoh kebijakan pcluster pengguna.

Siapkan AWS kredensi Anda. Untuk informasi selengkapnya, lihat Mengonfigurasi AWS CLI dalam panduan AWS CLI pengguna.

$ aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [us-east-1]: us-east-1
Default output format [None]:

Wilayah AWS Tempat cluster diluncurkan harus memiliki setidaknya satu key pair Amazon EC2. Untuk informasi selengkapnya, lihat Pasangan kunci Amazon EC2 dalam Panduan Pengguna Amazon EC2 untuk Instans Linux.

Saat menggunakan antarmuka baris AWS ParallelCluster perintah (CLI), Anda hanya membayar AWS sumber daya yang dibuat saat Anda membuat atau memperbarui AWS ParallelCluster gambar dan cluster. Untuk informasi selengkapnya, lihat AWSlayanan yang digunakan oleh AWS ParallelCluster.

Konfigurasikan dan buat cluster pertama Anda

Buat cluster pertama Anda dengan menggunakan perintah pcluster configure CLI untuk memulai wizard yang meminta Anda untuk semua informasi yang diperlukan untuk mengkonfigurasi dan membuat cluster Anda. Rincian urutan berbeda saat menggunakan AWS Batch sebagai penjadwal dibandingkan dengan menggunakanSlurm.

Slurm

$  pcluster configure --config config-file.yaml

Dari daftar Wilayah AWS pengidentifikasi yang valid, pilih Wilayah AWS tempat yang Anda inginkan untuk menjalankan klaster Anda.

catatan

Daftar yang Wilayah AWS ditampilkan didasarkan pada partisi akun Anda, dan hanya mencakup Wilayah AWS yang diaktifkan untuk akun Anda. Untuk informasi selengkapnya tentang mengaktifkan Wilayah AWS akun Anda, lihat Mengelola Wilayah AWS di. Referensi Umum AWS Contoh yang ditampilkan adalah dari partisi AWS Global. Jika akun Anda ada di AWS GovCloud (US) partisi, hanya Wilayah AWS di partisi yang terdaftar (gov-us-east-1dangov-us-west-1). Demikian pula, jika akun Anda berada di partisi AWS China, hanya cn-north-1 dan cn-northwest-1 ditampilkan. Untuk daftar lengkap yang Wilayah AWS didukung oleh AWS ParallelCluster, lihatWilayah yang Didukung untuk AWS ParallelCluster.

Allowed values for Wilayah AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
Wilayah AWS ID [ap-northeast-1]: 

Key pair dipilih dari pasangan kunci yang terdaftar dengan Amazon EC2 di yang dipilih. Wilayah AWS Pilih key pair:

Allowed values for EC2 Key Pair Name:
1. your-key-1
2. your-key-2
EC2 Key Pair Name [your-key-1]:

Pilih penjadwal yang akan digunakan dengan cluster Anda.

Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]:

Pilih sistem operasi.

Allowed values for Operating System:
1. alinux2
2. centos7
3. ubuntu2204
4. ubuntu2004
5. rhel8
Operating System [alinux2]:

Pilih jenis instance node kepala:

Head node instance type [t2.micro]:

Pilih konfigurasi antrian. Catatan: Jenis instans tidak dapat ditentukan untuk beberapa sumber daya komputasi dalam antrean yang sama.

Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:     
          

Aktifkan EFA untuk menjalankan aplikasi yang memerlukan komunikasi antar-instans tingkat tinggi dalam skala tanpa AWS biaya tambahan:

• Pilih jenis instans yang mendukung Elastic Fabric Adapter (EFA).

• Aktifkan EFA.

• Tentukan nama Grup Penempatan yang ada. Jika Anda membiarkannya kosong, AWS ParallelCluster buatlah satu untuk Anda.

Compute instance type for compute resource 2 in queue1 [t2.micro]: c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:

Setelah langkah-langkah sebelumnya selesai, putuskan apakah akan menggunakan VPC yang ada atau biarkan AWS ParallelCluster membuat VPC untuk Anda. Jika Anda tidak memiliki VPC yang dikonfigurasi dengan benar, AWS ParallelCluster dapat membuat yang baru untuk Anda. Ini baik menempatkan node head dan compute di subnet publik yang sama, atau hanya node kepala di subnet publik dengan semua node komputasi dalam subnet pribadi. Jika Anda membiarkan AWS ParallelCluster membuat VPC, Anda harus memutuskan apakah semua node berada di subnet publik. Untuk informasi selengkapnya, lihat Konfigurasi jaringan.

Jika Anda mengonfigurasi klaster untuk menggunakan tipe instans yang memiliki beberapa antarmuka jaringan atau kartu jaringan, lihat Konfigurasi jaringan persyaratan jaringan tambahan.

Anda dapat mencapai kuota Anda untuk jumlah VPC yang diizinkan dalam a. Wilayah AWS Kuota default adalah lima VPC untuk a. Wilayah AWS Untuk informasi selengkapnya tentang kuota ini dan cara meminta peningkatan, lihat VPC dan subnet di Panduan Pengguna Amazon VPC.

penting

VPC yang dibuat oleh AWS ParallelCluster tidak mengaktifkan VPC Flow Logs secara default. VPC Flow Logs memungkinkan Anda untuk menangkap informasi tentang lalu lintas IP yang menuju dan dari antarmuka jaringan di VPC Anda. Untuk informasi selengkapnya, lihat Log Alur VPC di Panduan Pengguna Amazon VPC.

Jika Anda membiarkan AWS ParallelCluster membuat VPC, pastikan Anda memutuskan apakah semua node akan berada di subnet publik.

catatan

Jika Anda memilih1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster buat gateway NAT yang menghasilkan biaya tambahan, bahkan jika Anda menentukan sumber daya tingkat gratis.

Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

Jika Anda tidak membuat VPC baru, Anda harus memilih VPC yang ada.

Jika Anda memilih untuk AWS ParallelCluster membuat VPC, catat ID VPC sehingga Anda dapat menggunakan AWS CLI untuk menghapusnya nanti.

Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

Setelah VPC dipilih, putuskan apakah akan menggunakan subnet yang ada atau membuat yang baru.

Automate Subnet creation? (y/n) [y]: y

Creating CloudFormation stack...
Do not leave the terminal until the process has finished

AWS Batch

$  pcluster configure --config config-file.yaml

Dari daftar Wilayah AWS pengidentifikasi yang valid, pilih Wilayah AWS tempat yang Anda inginkan untuk menjalankan klaster Anda.

catatan

Daftar yang Wilayah AWS ditampilkan didasarkan pada partisi akun Anda. Ini hanya mencakup Wilayah AWS yang diaktifkan untuk akun Anda. Untuk informasi selengkapnya tentang mengaktifkan Wilayah AWS akun Anda, lihat Mengelola Wilayah AWS di. Referensi Umum AWS Contoh yang ditampilkan adalah dari partisi AWS Global. Jika akun Anda ada di AWS GovCloud (US) partisi, hanya Wilayah AWS di partisi yang terdaftar (gov-us-east-1dangov-us-west-1). Demikian pula, jika akun Anda berada di partisi AWS China, hanya cn-north-1 dan cn-northwest-1 ditampilkan. Untuk daftar lengkap yang Wilayah AWS didukung oleh AWS ParallelCluster, lihatWilayah yang Didukung untuk AWS ParallelCluster.

Allowed values for Wilayah AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
20. us-west-2
Wilayah AWS ID [us-east-1]:

Key pair dipilih dari pasangan kunci yang terdaftar dengan Amazon EC2 di yang dipilih. Wilayah AWS Pilih key pair:

Allowed values for EC2 Key Pair Name:
1. your-key-1
2. your-key-2
EC2 Key Pair Name [your-key-1]:

Pilih penjadwal yang akan digunakan dengan cluster Anda.

Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]: 2

Kapan awsbatch dipilih sebagai penjadwal, alinux2 digunakan sebagai sistem operasi. Jenis instance head node dimasukkan:

Head node instance type [t2.micro]:

Pilih konfigurasi antrian. AWS Batch Penjadwal hanya berisi satu antrian. Ukuran maksimum cluster node komputasi dimasukkan. Ini diukur dalam vCPUs.

Number of queues [1]:
Name of queue 1 [queue1]:
Maximum vCPU [10]:

Putuskan apakah akan menggunakan VPC yang ada atau biarkan AWS ParallelCluster membuat VPC untuk Anda. Jika Anda tidak memiliki VPC yang dikonfigurasi dengan benar, AWS ParallelCluster dapat membuat yang baru. Ini baik menggunakan node head dan compute di subnet publik yang sama, atau hanya node kepala di subnet publik dengan semua node di subnet pribadi. Anda dapat mencapai kuota Anda pada jumlah VPC yang diizinkan di suatu Wilayah. Jumlah default VPC adalah lima. Untuk informasi selengkapnya tentang kuota ini dan cara meminta peningkatan, lihat VPC dan subnet di Panduan Pengguna Amazon VPC.

penting

VPC yang dibuat oleh AWS ParallelCluster tidak mengaktifkan VPC Flow Logs secara default. VPC Flow Logs memungkinkan Anda untuk menangkap informasi tentang lalu lintas IP yang menuju dan dari antarmuka jaringan di VPC Anda. Untuk informasi selengkapnya, lihat Log Alur VPC di Panduan Pengguna Amazon VPC.

Jika Anda membiarkan AWS ParallelCluster membuat VPC, pastikan Anda memutuskan apakah semua node akan berada di subnet publik.

catatan

Jika Anda memilih1. Head node in a public subnet and compute fleet in a private subnet, AWS ParallelCluster buat gateway NAT yang menghasilkan biaya tambahan, bahkan jika Anda menentukan sumber daya tingkat gratis.

Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet in a private subnet]: *1*
Beginning VPC creation. Please do not leave the terminal until the creation is finalized

Jika Anda tidak membuat VPC baru, Anda harus memilih VPC yang ada.

Jika Anda memilih untuk AWS ParallelCluster membuat VPC, catat ID VPC sehingga Anda dapat menggunakan AWS CLI atau AWS Management Console menghapusnya nanti.

Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
  #  id                     name                                 number_of_subnets
---  ---------------------  ---------------------------------  -------------------
  1  vpc-0b4ad9c4678d3c7ad  ParallelClusterVPC-20200118031893                    2
  2  vpc-0e87c753286f37eef  ParallelClusterVPC-20191118233938                    5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1

Setelah VPC dipilih, pastikan Anda memutuskan apakah akan menggunakan subnet yang ada atau membuat yang baru.

Automate Subnet creation? (y/n) [y]: y

Creating CloudFormation stack...
Do not leave the terminal until the process has finished

Ketika Anda telah menyelesaikan langkah-langkah sebelumnya, sebuah cluster sederhana diluncurkan ke VPC. VPC menggunakan subnet yang ada yang mendukung alamat IP publik. Tabel rute untuk subnet adalah0.0.0.0/0 => igw-xxxxxx. Perhatikan kondisi berikut:

• VPC harus memiliki DNS Resolution = yes dan. DNS Hostnames = yes

• VPC juga harus memiliki opsi DHCP dengan benar domain-name untuk. Wilayah AWS DHCP Option Set default sudah menentukan yang diperlukan. AmazonProvidedDNS Jika menentukan lebih dari satu server nama domain, lihat set opsi DHCP di Panduan Pengguna Amazon VPC. Saat menggunakan subnet pribadi, gunakan gateway NAT atau proxy internal untuk mengaktifkan akses web untuk node komputasi. Untuk informasi selengkapnya, lihat Konfigurasi jaringan.

Ketika semua pengaturan berisi nilai yang valid, Anda dapat meluncurkan cluster dengan menjalankan perintah create.

$ pcluster create-cluster --cluster-name test-cluster --cluster-configuration cluster-config.yaml
{
  "cluster": {
    "clusterName": "test-cluster",
    "cloudformationStackStatus": "CREATE_IN_PROGRESS",
    "cloudformationStackArn": "arn:aws:cloudformation:eu-west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
    "region": "eu-west-1",
    "version": "3.7.0",
    "clusterStatus": "CREATE_IN_PROGRESS"
  },
  "validationMessages": []
}

Ikuti kemajuan klaster:

$ pcluster describe-cluster --cluster-name test-cluster

atau

$ pcluster list-clusters --query 'clusters[?clusterName==`test-cluster`]'

Setelah klaster mencapai "clusterStatus": "CREATE_COMPLETE" status, Anda dapat menghubungkannya dengan menggunakan pengaturan klien SSH normal Anda. Untuk informasi selengkapnya tentang menghubungkan ke instans Amazon EC2, lihat Panduan Pengguna EC2 di Panduan Pengguna Amazon EC2. Atau Anda dapat menghubungkan cluster melalui

$ pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem

Untuk menghapus cluster, jalankan perintah berikut.

$ pcluster delete-cluster --region us-east-1 --cluster-name test-cluster

Setelah cluster dihapus, Anda dapat menghapus sumber daya jaringan di VPC dengan menghapus tumpukan jaringan. CloudFormation Nama tumpukan dimulai dengan “parallelclusternetworking-” dan berisi waktu pembuatan dalam format “YYYYMMDDHHMMSS”. Anda dapat membuat daftar tumpukan menggunakan list-stacksperintah.

$ aws --region us-east-1 cloudformation list-stacks \
   --stack-status-filter "CREATE_COMPLETE" \
   --query "StackSummaries[].StackName" | \
   grep -e "parallelclusternetworking-"
   "parallelclusternetworking-pubpriv-20191029205804"

Tumpukan dapat dihapus menggunakan delete-stackperintah.

$ aws --region us-east-1 cloudformation delete-stack \
   --stack-name parallelclusternetworking-pubpriv-20191029205804

VPC yang dibuat untuk pcluster configure Anda tidak dibuat di tumpukan CloudFormation jaringan. Anda dapat menghapus VPC itu secara manual di konsol atau dengan menggunakan file. AWS CLI

$ aws --region us-east-1 ec2 delete-vpc --vpc-id vpc-0b4ad9c4678d3c7ad