AWS CloudFormation sumber daya khusus

Dimulai dengan AWS ParallelCluster versi 3.6.0, Anda dapat menggunakan sumber daya AWS ParallelCluster CloudFormation khusus dalam tumpukan. AWS CloudFormation Sumber daya khusus adalah tumpukan yang AWS ParallelCluster dihosting. Dengan cara ini, Anda dapat menggunakan CloudFormation untuk mengkonfigurasi dan mengelola cluster Anda. Misalnya, Anda dapat mengonfigurasi sumber daya eksternal cluster seperti jaringan, penyimpanan bersama, dan infrastruktur grup keamanan dalam CloudFormation tumpukan. Selanjutnya, Anda dapat mengelola cluster Anda dengan CloudFormation infrastruktur sebagai pipeline kode.

Tambahkan sumber daya AWS ParallelCluster khusus ke CloudFormation template Anda dengan melakukan hal berikut:

1. Tambahkan tumpukan penyedia sumber daya khusus yang dimiliki dan dihosting oleh AWS ParallelCluster.

2. Referensikan tumpukan penyedia di CloudFormation template Anda sebagai sumber daya khusus.

Penyedia sumber daya khusus menumpuk menangani dan merespons CloudFormation permintaan. Misalnya, saat Anda menerapkan CloudFormation tumpukan, Anda juga mengonfigurasi dan membuat cluster. Untuk memperbarui cluster, Anda memperbarui CloudFormation tumpukan Anda. Anda menghapus klaster saat menghapus tumpukan Anda. Untuk informasi selengkapnya tentang CloudFormation sumber daya kustom, lihat Sumber daya khusus di Panduan AWS CloudFormation Pengguna.

Awas

CloudFormation tidak mendeteksi penyimpangan sumber daya khusus. Hanya gunakan CloudFormation untuk memperbarui konfigurasi cluster dan menghapus cluster.

Anda dapat menggunakan pcluster CLI atau AWS ParallelClusterUI untuk memantau status cluster atau untuk memperbarui armada komputasi, tetapi Anda tidak boleh menggunakannya untuk memperbarui konfigurasi cluster atau untuk menghapus cluster.

catatan

Kami menyarankan Anda menambahkan perlindungan terminasi ke tumpukan Anda untuk menghindari penghapusan yang tidak disengaja.

Tumpukan penyedia dihosting oleh AWS ParallelCluster

Tumpukan penyedia sumber daya kustom diformat seperti yang ditunjukkan pada cuplikan CloudFormation templat berikut:

PclusterClusterProvider:
  Type: AWS::CloudFormation::Stack
  Properties:
    Parameters:
      CustomLambdaRole: # (Optional) RoleARN to override default
      AdditionalIamPolicies: # (Optional) comma-separated list of IAM policies to add
    TemplateURL: !Sub
      - https://${AWS::Region}-aws-parallelcluster.s3.${AWS::Region}.${AWS::URLSuffix}/parallelcluster/${Version}/templates/custom_resource/cluster.yaml
      - { Version: 3.7.0 }

Properti:

Parameter:

CustomLambdaRole (opsional):

Peran khusus dengan izin untuk menjalankan AWS Lambda yang membuat dan mengelola cluster. Secara default, peran menggunakan kebijakan yang sama yang ditentukan secara default dalam AWS ParallelCluster dokumentasi.

AdditionalIamPolicies (opsional):

Daftar tambahan IAM Policy Amazon Resource Names (ARN) yang dipisahkan koma untuk ditambahkan ke peran yang digunakan Lambda. Ini hanya digunakan jika a CustomLambdaRole tidak ditentukan dan dapat tetap kosong.

Jika Anda memerlukan kebijakan tambahan untuk node kepala, node komputasi, atau untuk akses ke bucket Amazon S3, tambahkan ke CustomLambdaRole properti atau. AdditionalIamPolicy

Untuk informasi selengkapnya tentang kebijakan default, lihatAWS Identity and Access Management izin di AWS ParallelCluster.

templateUrl (wajib):

URL file sumber daya AWS ParallelCluster kustom.

Keluaran:

ServiceToken:

Nilai yang dapat digunakan sebagai ServiceToken properti sumber daya kustom. Sumber daya khusus ServiceToken menentukan tempat AWS CloudFormation mengirim permintaan. Ini adalah masukan yang diperlukan untuk sumber daya cluster yang Anda sertakan dalam AWS CloudFormation template Anda.

LogGroupArn:

ARN dari yang dicatat oleh sumber daya CloudWatch LogGroup yang mendasarinya.

LambdaLayerArn:

ARN dari lapisan Lambda yang digunakan untuk menjalankan operasi. AWS ParallelCluster

Sumber daya cluster

Sumber daya CloudFormation cluster diformat seperti yang ditunjukkan dalam cuplikan CloudFormation template berikut:

PclusterCluster:
  Type: Custom::PclusterCluster
  Properties:
    ServiceToken: !GetAtt [ PclusterClusterProvider , Outputs.ServiceToken ]
    ClusterName: !Sub 'c-${AWS::StackName}' # Must be different from StackName
    ClusterConfiguration:
    # Your Cluster Configuration

Properti:

ServiceToken:

ServiceTokenOutput tumpukan AWS ParallelCluster penyedia.

ClusterName:

Nama cluster yang akan dibuat dan dikelola. Nama tidak boleh cocok dengan nama CloudFormation tumpukan. Nama tidak dapat diubah setelah cluster dibuat.

ClusterConfiguration:

File YAMAL konfigurasi cluster, seperti yang dijelaskan dalam File konfigurasi cluster file. Namun, Anda dapat menggunakan CloudFormation konstruksi biasa, seperti fungsi Intrinsik.

DeletionPolicy:

Mendefinisikan apakah akan menghapus cluster saat tumpukan root dihapus. Nilai default-nya Delete.

Mempertahankan:

Pertahankan klaster jika sumber daya kustom dihapus.

catatan

Agar klaster tetap berfungsi, sumber daya yang bergantung pada klaster, seperti penyimpanan dan jaringan, harus memiliki kebijakan penghapusan yang disetel untuk dipertahankan.

Hapus:

Hapus cluster jika sumber daya kustom dihapus.

Fn::GetAttmengembalikan nilai:

Fungsi Fn::GetAtt intrinsik mengembalikan nilai untuk atribut tertentu dari tipe. Untuk informasi selengkapnya tentang penggunaan Fn::GetAtt intrinsic fungsi, lihat Fn:: GetAtt.

ClusterProperties:

Nilai-nilai dari pcluster describe-cluster operasi.

ValidationMessages:

String yang berisi semua pesan validasi yang terjadi selama operasi pembuatan atau pembaruan terakhir.

logGroupName:

Nama grup log yang digunakan untuk mencatat operasi klaster Lambda. Peristiwa log dipertahankan selama 90 hari dan grup log dipertahankan setelah penghapusan klaster.

Contoh:Fn::GetAtt:

# Provide the public IP address of the head node as an output of a stack
Outputs:
  HeadNodeIp:
    Description: The public IP address of the head node
    Value: !GetAtt [ PclusterCluster, headNode.publicIpAddress ]

Contoh: CloudFormation Template sederhana dan lengkap dengan sumber daya AWS ParallelCluster khusus:

AWSTemplateFormatVersion: '2010-09-09'
Description: > AWS ParallelCluster CloudFormation Template

Parameters:
  HeadNodeSubnet:
    Description: Subnet where the HeadNode will run
    Type: AWS::EC2::Subnet::Id

  ComputeSubnet:
    Description: Subnet where the Compute Nodes will run
    Type: AWS::EC2::Subnet::Id

  KeyName:
    Description: KeyPair to login to the head node
    Type: AWS::EC2::KeyPair::KeyName

Resources:
  PclusterClusterProvider:
    Type: AWS::CloudFormation::Stack
    Properties:
      TemplateURL: !Sub
        - https://${AWS::Region}-aws-parallelcluster.s3.${AWS::Region}.${AWS::URLSuffix}/parallelcluster/${Version}/templates/custom_resource/cluster.yaml
        - { Version: 3.7.0 }

  PclusterCluster:
    Type: Custom::PclusterCluster
    Properties:
      ServiceToken: !GetAtt [ PclusterClusterProvider , Outputs.ServiceToken ]
      ClusterName: !Sub 'c-${AWS::StackName}'
      ClusterConfiguration:
        Image:
          Os: alinux2
        HeadNode:
          InstanceType: t2.medium
          Networking:
            SubnetId: !Ref HeadNodeSubnet
          Ssh:
            KeyName: !Ref KeyName
        Scheduling:
          Scheduler: slurm
          SlurmQueues:
          - Name: queue0
            ComputeResources:
            - Name: queue0-cr0
              InstanceType: t2.micro
            Networking:
              SubnetIds:
              - !Ref ComputeSubnet

Outputs:
  HeadNodeIp:
    Description: The Public IP address of the HeadNode
    Value: !GetAtt [ PclusterCluster, headNode.publicIpAddress ]
  ValidationMessages:
    Description: Any warnings from cluster create or update operations.
    Value: !GetAtt PclusterCluster.validationMessages

Untuk mempelajari lebih lanjut tentang cara menggunakan sumber daya CloudFormation AWS ParallelCluster kustom, lihatMembuat cluster dengan AWS CloudFormation.

Operasi cluster

Ketika sumber daya kustom cluster ditambahkan ke CloudFormation tumpukan, CloudFormation dapat melakukan operasi klaster berikut:

• CloudFormation membuat cluster di tumpukan terpisah baru saat menyebarkan tumpukan yang menyertakan sumber daya AWS ParallelCluster khusus.

• Jika Anda memperbarui konfigurasi klaster yang ditentukan dalam tumpukan, sesuai dengan kebijakan pembaruan konfigurasi, CloudFormation perbarui klaster. Penyedia sumber daya AWS ParallelCluster khusus tidak menghentikan armada komputasi sebelum memperbarui klaster. Kami menyarankan Anda menggunakan QueueUpdateStrategypengaturan untuk pembaruan cluster. Dengan cara ini, Anda dapat menghindari pcluster update-compute-fleet panggilan eksplisit sebelum dan sesudah pembaruan saat menggunakan sumber daya AWS ParallelCluster khusus.

• Jika Anda menghapus tumpukan, cluster dihapus.

Memecahkan masalah tumpukan yang menyertakan sumber daya kustom AWS ParallelCluster

Dengan sumber daya AWS ParallelCluster khusus, CloudFormation menyebarkan cluster dari tumpukan baru yang terpisah. Anda dapat memantau pembuatan cluster dengan mengambil langkah-langkah berikut:

1. Arahkan ke CloudFormation dalam AWS Management Console dan pilih Tumpukan di panel navigasi.

2. Pilih tumpukan dengan nama yang Anda tentukan untuk nama cluster.

3. Jika status tumpukanROLLBACK_COMPLETE, kesalahan terjadi selama pembuatan cluster.

4. Pilih Stack details, dan pilih tab Events.

5. Cari Peristiwa pada ID Logis untuk nama yang Anda tetapkan untuk nama cluster. Ini memiliki Status reason yang memberikan alasan untuk suatu masalah.

6. Anda juga dapat memilih menu tarik-turun Tumpukan, dan kemudian Dihapus untuk melihat daftar tumpukan yang dihapus. Pilih tumpukan dengan nama cluster dan lihat Acara untuk lebih jelasnya.

7. Untuk melihat output dari penyedia sumber daya khusus yang mengelola cluster, pilih tumpukan dengan Deskripsi "Sumber Daya Kustom AWS ParallelCluster Cluster.” Pilih tab Sumber Daya, temukan sumber daya dengan ID LogisPclusterCfnFunctionLogGroup, dan ikuti tautan yang diberikan. Lihat aliran log yang menampilkan output debug Lambda.

8. Untuk memecahkan masalah cluster, lihat. AWS ParallelCluster pemecahan masalah