Pindah dari AWS ParallelCluster 2.x ke 3.x

Tindakan Bootstrap Kustom

Dengan AWS ParallelCluster 3, Anda dapat menentukan skrip tindakan bootstrap kustom yang berbeda untuk node kepala dan node komputasi menggunakan parameter OnNodeStart (pre_installdalam AWS ParallelCluster versi 2) dan OnNodeConfigured (post_installdalam AWS ParallelCluster versi 2) di bagian HeadNodedan Scheduling/SlurmQueues. Untuk informasi selengkapnya, lihat Tindakan bootstrap kustom.

Skrip tindakan bootstrap khusus yang dikembangkan untuk AWS ParallelCluster 2 harus disesuaikan untuk digunakan dalam AWS ParallelCluster 3:

• Kami tidak menyarankan menggunakan /etc/parallelcluster/cfnconfig dan cfn_node_type membedakan antara node head dan compute. Sebagai gantinya, kami menyarankan Anda menentukan dua skrip berbeda di HeadNodedan Scheduling/SlurmQueues.

• Jika Anda lebih suka melanjutkan pemuatan /etc/parallelcluster/cfnconfig untuk digunakan dalam skrip tindakan bootstrap Anda, perhatikan nilai diubah dari "MasterServer" menjadi "HeadNode" (lihat:Bahasa inklusif). cfn_node_type

• Pada AWS ParallelCluster 2, argumen masukan pertama untuk skrip tindakan bootstrap adalah URL S3 ke skrip dan dicadangkan. Dalam AWS ParallelCluster 3, hanya argumen yang dikonfigurasi dalam konfigurasi yang diteruskan ke skrip.

Awas

Menggunakan variabel internal yang disediakan melalui /etc/parallelcluster/cfnconfig file tidak didukung secara resmi. File ini mungkin akan dihapus sebagai bagian dari rilis future.

AWS ParallelCluster 2.x dan 3.x menggunakan sintaks file konfigurasi yang berbeda

AWS ParallelCluster Konfigurasi 3.x menggunakan sintaks YAMAL. Referensi lengkap dapat ditemukan diFile konfigurasi.

Selain memerlukan format file YAMAL, sejumlah bagian konfigurasi, pengaturan, dan nilai parameter telah diperbarui dalam AWS ParallelCluster 3.x. Di bagian ini, kami mencatat perubahan utama pada AWS ParallelCluster konfigurasi bersama dengan side-by-side contoh yang menggambarkan perbedaan ini di setiap versi. AWS ParallelCluster

Contoh konfigurasi antrian beberapa penjadwal dengan hyperthreading diaktifkan dan dinonaktifkan

AWS ParallelCluster 2:

[cluster default]
queue_settings = ht-enabled, ht-disabled
...

[queue ht-enabled]
compute_resource_settings = ht-enabled-i1
disable_hyperthreading = false

[queue ht-disabled]
compute_resource_settings = ht-disabled-i1
disable_hyperthreading = true

[compute_resource ht-enabled-i1]
instance_type = c5n.18xlarge
[compute_resource ht-disabled-i1]
instance_type = c5.xlarge

AWS ParallelCluster 3:

...
Scheduling:
  Scheduler: slurm
  SlurmQueues:
    - Name: ht-enabled
      Networking:
        SubnetIds:
          - compute_subnet_id
      ComputeResources:
        - Name: ht-enabled-i1
          DisableSimultaneousMultithreading: true
          InstanceType: c5n.18xlarge     
    - Name: ht-disabled
      Networking:
        SubnetIds:
          - compute_subnet_id
      ComputeResources:
        - Name: ht-disabled-i1
          DisableSimultaneousMultithreading: false
          InstanceType: c5.xlarge

Contoh konfigurasi sistem file FSx for Lustre baru

AWS ParallelCluster 2:

[cluster default]
fsx_settings = fsx
...

[fsx fsx]
shared_dir = /shared-fsx
storage_capacity = 1200
imported_file_chunk_size = 1024
import_path = s3://bucket
export_path = s3://bucket/export_dir
weekly_maintenance_start_time = 3:02:30
deployment_type = PERSISTENT_1
data_compression_type = LZ4

AWS ParallelCluster 3:

...
SharedStorage:
  - Name: fsx
    MountDir: /shared-fsx
    StorageType: FsxLustre
    FsxLustreSettings:
      StorageCapacity: 1200
      ImportedFileChunkSize: 1024
      ImportPath: s3://bucket
      ExportPath: s3://bucket/export_dir
      WeeklyMaintenanceStartTime: "3:02:30"
      DeploymentType: PERSISTENT_1
      DataCompressionType: LZ4

Contoh konfigurasi cluster yang memasang sistem file FSx for Lustre yang ada

AWS ParallelCluster 2:

[cluster default]
fsx_settings = fsx
...

[fsx fsx]
shared_dir = /shared-fsx
fsx_fs_id = fsx_fs_id

AWS ParallelCluster 3:

...
SharedStorage:
  - Name: fsx
    MountDir: /shared-fsx
    StorageType: FsxLustre
    FsxLustreSettings:
      FileSystemId: fsx_fs_id

Contoh cluster dengan tumpukan perangkat lunak Spesifikasi Platform Intel HPC

AWS ParallelCluster 2:

[cluster default]
enable_intel_hpc_platform = true
...

AWS ParallelCluster 3:

...
AdditionalPackages:
  IntelSoftware:
    IntelHpcPlatform: true

Catatan:

• Penginstalan perangkat lunak Spesifikasi Platform Intel HPC tunduk pada syarat dan ketentuan Perjanjian Lisensi Pengguna Akhir Intel yang berlaku.

Contoh konfigurasi IAM kustom termasuk: profil instance, peran instans, kebijakan tambahan untuk instance, dan peran untuk fungsi lambda yang terkait dengan cluster

AWS ParallelCluster 2:

[cluster default]
additional_iam_policies = arn:aws:iam::aws:policy/AmazonS3ReadOnlyAccess,arn:aws:iam::aws:policy/AmazonDynamoDBReadOnlyAccess
ec2_iam_role = ec2_iam_role
iam_lambda_role = lambda_iam_role
...

AWS ParallelCluster 3:

...
Iam:
  Roles:
    CustomLambdaResources: lambda_iam_role
HeadNode:
  ...
  Iam:
    InstanceRole: ec2_iam_role
Scheduling:
  Scheduler: slurm
  SlurmQueues:
    - Name: queue1
      ...
      Iam:
        InstanceProfile: iam_instance_profile
    - Name: queue2
      ...
      Iam:
        AdditionalIamPolicies:
          - Policy: arn:aws:iam::aws:policy/AmazonS3ReadOnlyAccess
          - Policy: arn:aws:iam::aws:policy/AmazonDynamoDBReadOnlyAccess

Catatan:

• Untuk AWS ParallelCluster 2, pengaturan IAM diterapkan ke semua instance cluster dan tidak additional_iam_policies dapat digunakan bersamaan dengan. ec2_iam_role

• Untuk AWS ParallelCluster 3, Anda dapat memiliki pengaturan IAM yang berbeda untuk node head dan compute dan bahkan menentukan pengaturan IAM yang berbeda untuk setiap antrian komputasi.

• Untuk AWS ParallelCluster 3, Anda dapat menggunakan profil instans IAM sebagai alternatif peran IAM. InstanceProfile, InstanceRole atau tidak AdditionalIamPolicies dapat dikonfigurasi bersama.

Contoh tindakan bootstrap kustom

AWS ParallelCluster 2:

[cluster default]
s3_read_resource = arn:aws:s3:::bucket_name/*
pre_install = s3://bucket_name/scripts/pre_install.sh
pre_install_args = 'R curl wget'
post_install = s3://bucket_name/scripts/post_install.sh
post_install_args = "R curl wget"
...

AWS ParallelCluster 3:

...
HeadNode:
  ...
  CustomActions:
    OnNodeStart:
      Script: s3://bucket_name/scripts/pre_install.sh
      Args:
        - R
        - curl
        - wget
    OnNodeConfigured:
      Script: s3://bucket_name/scripts/post_install.sh
      Args: ['R', 'curl', 'wget']
  Iam:
    S3Access:
      - BucketName: bucket_name
Scheduling:
  Scheduler: slurm
  SlurmQueues:
    - Name: queue1
      ...
      CustomActions:
        OnNodeStart:
          Script: s3://bucket_name/scripts/pre_install.sh
          Args: ['R', 'curl', 'wget']
        OnNodeConfigured:
          Script: s3://bucket_name/scripts/post_install.sh
          Args: ['R', 'curl', 'wget']
      Iam:
        S3Access:
          - BucketName: bucket_name

Contoh cluster dengan akses baca dan tulis ke sumber daya bucket S3

AWS ParallelCluster 2:

[cluster default]
s3_read_resource = arn:aws:s3:::bucket/read_only/*
s3_read_write_resource = arn:aws:s3:::bucket/read_and_write/*
...

AWS ParallelCluster 3:

...
HeadNode:
  ...
  Iam:
    S3Access:
      - BucketName: bucket_name
        KeyName: read_only/
        EnableWriteAccess: False
      - BucketName: bucket_name
        KeyName: read_and_write/
        EnableWriteAccess: True
Scheduling:
  Scheduler: slurm
  SlurmQueues:
    - Name: queue1
      ...
      Iam:
        S3Access:
          - BucketName: bucket_name
            KeyName: read_only/
            EnableWriteAccess: False
          - BucketName: bucket_name
            KeyName: read_and_write/
            EnableWriteAccess: True

Bahasa inklusif

AWS ParallelCluster 3 menggunakan kata “head node” di tempat-tempat di mana “master” digunakan di AWS ParallelCluster 2. Ini termasuk yang berikut:

• Variabel yang diekspor di lingkungan AWS Batch kerja berubah: dari MASTER_IP kePCLUSTER_HEAD_NODE_IP.

• Semua AWS CloudFormation output berubah dari Master* keHeadNode*.

• Semua NodeType dan tag berubah dari Master keHeadNode.

Support Scheduler

AWS ParallelCluster 3.x tidak mendukung Son of Grid Engine (SGE) dan penjadwal Torsi.

AWS Batch Perintahawsbhosts,awsbkill,awsbout,awsbqueues,awsbstat, dan awsbsub didistribusikan sebagai paket aws-parallelcluster-awsbatch-cli PyPI terpisah. Paket ini diinstal oleh AWS ParallelCluster pada node kepala. Anda masih dapat menggunakan AWS Batch perintah ini dari node kepala cluster. Namun, jika Anda ingin menggunakan AWS Batch perintah dari lokasi selain node kepala, Anda harus terlebih dahulu menginstal paket aws-parallelcluster-awsbatch-cli PyPI.

AWS ParallelCluster CLI

Antarmuka baris AWS ParallelCluster perintah (CLI) telah diubah. Sintaks baru dijelaskan dalamAWS ParallelClusterPerintah CLI. Format output untuk CLI adalah string JSON.

Mengkonfigurasi cluster baru

pcluster configurePerintah ini mencakup parameter yang berbeda dalam AWS ParallelCluster 3 dibandingkan dengan AWS ParallelCluster 2. Untuk informasi selengkapnya, lihat pcluster configure.

Perhatikan juga bahwa sintaks file konfigurasi telah berubah dari AWS ParallelCluster 2. Untuk referensi lengkap pengaturan konfigurasi cluster, lihatFile konfigurasi cluster.

Membuat cluster baru

AWS ParallelCluster pcluster createPerintah 2 telah digantikan oleh pcluster create-clusterperintah.

Perhatikan perilaku default di AWS ParallelCluster 2.x, tanpa -nw opsi, adalah menunggu peristiwa pembuatan cluster, sementara perintah AWS ParallelCluster 3.x segera kembali. Kemajuan pembuatan cluster dapat dipantau menggunakan pcluster describe-cluster.

File konfigurasi AWS ParallelCluster 3 berisi definisi cluster tunggal, sehingga -t parameter tidak lagi diperlukan.

Berikut ini adalah contoh file konfigurasi.

# AWS ParallelCluster v2
$ pcluster create \
    -r REGION \
    -c V2_CONFIG_FILE \
    -nw \
    -t CLUSTER_TEMPLATE \
    CLUSTER_NAME

# AWS ParallelCluster v3
$ pcluster create-cluster \
    --region REGION \
    --cluster-configuration V3_CONFIG_FILE \
    --cluster-name CLUSTER_NAME

Daftar cluster

Perintah pcluster list AWS ParallelCluster 2.x harus diganti dengan pcluster list-clustersperintah.

Catatan: Anda memerlukan CLI AWS ParallelCluster v2 untuk membuat daftar cluster yang dibuat dengan versi 2.x. AWS ParallelCluster Lihat Instal AWS ParallelCluster di lingkungan virtual (disarankan) cara menginstal beberapa versi AWS ParallelCluster menggunakan lingkungan virtual.

# AWS ParallelCluster v2
$ pcluster list -r REGION

# AWS ParallelCluster v3
$ pcluster list-clusters --region REGION

Memulai dan Menghentikan Cluster

Perintah pcluster start dan pcluster stop AWS ParallelCluster 2.x harus diganti dengan pcluster update-compute-fleetperintah.

Memulai armada komputasi:

# AWS ParallelCluster v2
$ pcluster start \
    -r REGION \
    CLUSTER_NAME

# AWS ParallelCluster v3 - Slurm fleets
$ pcluster update-compute-fleet \
    --region REGION \
    --cluster-name CLUSTER_NAME \
    --status START_REQUESTED

# AWS ParallelCluster v3 - AWS Batch fleets
$ pcluster update-compute-fleet \
    --region REGION \
    --cluster-name CLUSTER_NAME \
    --status ENABLED

Menghentikan armada komputasi:

# AWS ParallelCluster v2
$ pcluster stop \
    -r REGION \
    CLUSTER_NAME

# AWS ParallelCluster v3 - Slurm fleets
$ pcluster update-compute-fleet \
    --region REGION \
    --cluster-name CLUSTER_NAME \
    --status STOP_REQUESTED

# AWS ParallelCluster v3 - AWS Batch fleets
$ pcluster update-compute-fleet \
    --region REGION \
    --cluster-name CLUSTER_NAME \
    --status DISABLED

Menghubungkan ke cluster

Perintah pcluster ssh AWS ParallelCluster 2.x memiliki nama parameter yang berbeda di AWS ParallelCluster 3.x. Lihat pcluster ssh.

Menghubungkan ke cluster:

# AWS ParallelCluster v2
$ pcluster ssh \
    -r REGION \
    CLUSTER_NAME \
    -i ~/.ssh/id_rsa

# AWS ParallelCluster v3
$ pcluster ssh \
    --region REGION \
    --cluster-name CLUSTER_NAME \
    -i ~/.ssh/id_rsa

Pembaruan konfigurasi IMDS

Dimulai dengan versi 3.0.0, AWS ParallelCluster memperkenalkan dukungan untuk membatasi akses ke IMDS node kepala (dan kredenal profil instance) ke subset pengguna super, secara default. Untuk informasi selengkapnya, lihat Imdsproperti.