AWS ParallelCluster dalam satu subnet tanpa akses internet - AWS ParallelCluster

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

AWS ParallelCluster dalam satu subnet tanpa akses internet

Subnet tanpa akses internet tidak memungkinkan koneksi masuk atau keluar ke internet. AWS ParallelCluster Konfigurasi ini dapat membantu pelanggan yang peduli dengan keamanan lebih meningkatkan keamanan sumber AWS ParallelCluster daya mereka. AWS ParallelCluster node dibangun dari AWS ParallelCluster AMIs yang mencakup semua perangkat lunak yang diperlukan untuk menjalankan cluster tanpa akses internet. Dengan cara ini, AWS ParallelCluster dapat membuat dan mengelola cluster dengan node yang tidak memiliki akses internet.

Di bagian ini, Anda belajar tentang cara mengkonfigurasi cluster. Anda juga belajar tentang keterbatasan dalam menjalankan cluster tanpa akses internet.

AWS ParallelCluster menggunakan satu subnet dan tidak ada internet

Mengkonfigurasi titik akhir VPC

Untuk memastikan berfungsinya cluster, node cluster harus dapat berinteraksi dengan sejumlah AWS Layanan.

Buat dan konfigurasikan titik akhir VPC berikut sehingga node cluster dapat berinteraksi dengan AWS Layanan, tanpa akses internet:

Commercial and AWS GovCloud (US) partitions
Layanan Nama layanan Tipe

Amazon CloudWatch

com.amazonaws. region-id.log

Antarmuka

AWS CloudFormation

com.amazonaws. region-id.cloudformasi

Antarmuka

Amazon EC2

com.amazonaws. region-id.ec2

Antarmuka

Amazon S3

com.amazonaws. region-id.s3

Gateway

Amazon DynamoDB

com.amazonaws. region-id.dynamodb

Gateway

AWS Secrets Manager**

com.amazonaws. region-id.secretsmanager

Antarmuka

AWS Penyeimbangan Beban Elastis***

com.amazonaws. region-id.elasticloadbalancing

Antarmuka

AWS Penskalaan Otomatis***

com.amazonaws. region-id.penskalaan otomatis

Antarmuka
China partition
Layanan Nama layanan Tipe

Amazon CloudWatch

com.amazonaws. region-id.log

Antarmuka

AWS CloudFormation

cn.com.amazonaws. region-id.cloudformasi

Antarmuka

Amazon EC2

cn.com.amazonaws. region-id.ec2

Antarmuka

Amazon S3

com.amazonaws. region-id.s3

Gateway

Amazon DynamoDB

com.amazonaws. region-id.dynamodb

Gateway

AWS Secrets Manager**

com.amazonaws. region-id.secretsmanager

Antarmuka

AWS Penyeimbangan Beban Elastis***

com.amazonaws. region-id.elasticloadbalancing

Antarmuka

AWS Penskalaan Otomatis***

cn.com.amazonaws. region-id.penskalaan otomatis

Antarmuka

** Titik akhir ini hanya diperlukan saat DirectoryServicediaktifkan, jika tidak maka opsional.

*** Titik akhir ini hanya diperlukan ketika LoginNodesdiaktifkan, jika tidak mereka opsional.

Semua instance dalam VPC harus memiliki grup keamanan yang tepat untuk berkomunikasi dengan titik akhir. Anda dapat melakukan ini dengan menambahkan grup keamanan ke AdditionalSecurityGroupsbawah HeadNodedan AdditionalSecurityGroupsdi bawah SlurmQueueskonfigurasi. Misalnya, jika titik akhir VPC dibuat tanpa secara eksplisit menentukan grup keamanan, grup keamanan default dikaitkan dengan titik akhir. Dengan menambahkan grup keamanan defaultAdditionalSecurityGroups, Anda mengaktifkan komunikasi antara cluster dan titik akhir.

catatan

Saat Anda menggunakan kebijakan IAM untuk membatasi akses ke titik akhir VPC, Anda harus menambahkan yang berikut ini ke titik akhir VPC Amazon S3:

PolicyDocument:
  Version: 2012-10-17
  Statement:
    - Effect: Allow
      Principal: "*"
      Action:
        - "s3:PutObject"
      Resource:
        - !Sub "arn:${AWS::Partition}:s3:::cloudformation-waitcondition-${AWS::Region}/*"

Nonaktifkan Route 53 dan gunakan nama EC2 host Amazon

Saat membuat Slurm cluster, AWS ParallelCluster buat zona host Route 53 pribadi yang digunakan untuk menyelesaikan nama host node komputasi kustom, seperti. {queue_name}-{st|dy}-{compute_resource}-{N} Karena Route 53 tidak mendukung titik akhir VPC, fitur ini harus dinonaktifkan. Selain itu, AWS ParallelCluster harus dikonfigurasi untuk menggunakan EC2 nama host Amazon default, sepertiip-1-2-3-4. Terapkan pengaturan berikut ke konfigurasi klaster Anda:

...
Scheduling:
  ...
  SlurmSettings:
    Dns:
      DisableManagedDns: true
      UseEc2Hostnames: true
Awas

Untuk cluster yang dibuat dengan SlurmSettings/Dns/DisableManagedDnsdan UseEc2Hostnamesdisetel ketrue, Slurm NodeName tidak diselesaikan oleh DNS. Gunakan Slurm NodeHostName sebagai gantinya.

catatan

Catatan ini tidak relevan dimulai dengan AWS ParallelCluster versi 3.3.0.

Untuk versi yang AWS ParallelCluster didukung sebelum 3.3.0:

Kapan UseEc2Hostnames diatur ketrue, file Slurm konfigurasi diatur dengan epilog skrip AWS ParallelCluster prolog dan:

  • prologberjalan untuk menambahkan info node ke /etc/hosts node komputasi ketika setiap pekerjaan dialokasikan.

  • epilogberjalan untuk membersihkan konten yang ditulis olehprolog.

Untuk menambahkan kustom prolog atau epilog skrip, tambahkan masing-masing ke /opt/slurm/etc/pcluster/epilog.d/ folder /opt/slurm/etc/pcluster/prolog.d/ atau.

Konfigurasi cluster

Pelajari cara mengonfigurasi klaster Anda agar berjalan di subnet tanpa koneksi ke internet.

Konfigurasi untuk arsitektur ini memerlukan pengaturan berikut:

# Note that all values are only provided as examples
...
HeadNode:
  ...
  Networking:
    SubnetId: subnet-1234567890abcdef0 # the VPC of the subnet needs to have VPC endpoints
    AdditionalSecurityGroups:
      - sg-abcdef01234567890 # optional, the security group that enables the communication between the cluster and the VPC endpoints
LoginNodes: # optional, if enabled, requires creation and configuration of VPC endpoints for AWS Elastic Load Balancing (ELB) and Auto Scaling services
  Pools:
    - ...
      Networking:
        SubnetIds:
          - subnet-1234567890abcdef0 # the VPC of the subnet needs to have VPC endpoints attached
        AdditionalSecurityGroups:
          - sg-1abcdef01234567890 # optional, the security group that enables the communication between the cluster and the VPC endpoints
Scheduling:
  Scheduler: Slurm # Cluster in a subnet without internet access is supported only when the scheduler is Slurm.
  SlurmSettings:
    Dns:
      DisableManagedDns: true
      UseEc2Hostnames: true
  SlurmQueues:
    - ...
      Networking:
        SubnetIds:
          - subnet-1234567890abcdef0 # the VPC of the subnet needs to have VPC endpoints attached
        AdditionalSecurityGroups:
          - sg-1abcdef01234567890 # optional, the security group that enables the communication between the cluster and the VPC endpoints

  • SubnetId(s): Subnet tanpa akses internet.

    Untuk mengaktifkan komunikasi antara AWS ParallelCluster dan AWS Layanan, VPC subnet harus memiliki titik akhir VPC yang terpasang. Sebelum Anda membuat klaster, verifikasi bahwa auto-assign IPv4 alamat publik dinonaktifkan di subnet untuk memastikan bahwa pcluster perintah memiliki akses ke cluster.

  • AdditionalSecurityGroups: Grup keamanan yang memungkinkan komunikasi antara cluster dan titik akhir VPC.

    Opsional:

    • Jika titik akhir VPC dibuat tanpa secara eksplisit menentukan grup keamanan, grup keamanan default VPC dikaitkan. Oleh karena itu, berikan grup keamanan default keAdditionalSecurityGroups.

    • Jika grup keamanan khusus digunakan saat membuat cluster and/or , titik akhir VPC, tidak AdditionalSecurityGroups diperlukan selama grup keamanan khusus memungkinkan komunikasi antara cluster dan titik akhir VPC.

  • Scheduler: Penjadwal cluster.

    slurmadalah satu-satunya nilai yang valid. Hanya Slurm scheduler yang mendukung cluster di subnet tanpa akses internet.

  • SlurmSettings: Slurm Pengaturan.

    Lihat bagian sebelumnya Nonaktifkan Route53 dan gunakan nama host Amazon. EC2

Batasan

  • Menghubungkan ke node kepala melalui SSH atau Amazon DCV: Saat menghubungkan ke cluster, pastikan klien koneksi dapat mencapai node kepala cluster melalui alamat IP pribadinya. Jika klien tidak berada di VPC yang sama dengan node kepala, gunakan instance proxy di subnet publik VPC. Persyaratan ini berlaku untuk koneksi SSH dan DCV. IP publik dari node kepala tidak dapat diakses jika subnet tidak memiliki akses internet. dcv-connectPerintah pcluster ssh dan menggunakan IP publik jika ada atau IP pribadi. Sebelum Anda membuat klaster, verifikasi bahwa auto-assign IPv4 alamat publik dinonaktifkan di subnet untuk memastikan bahwa pcluster perintah memiliki akses ke cluster.

    Contoh berikut menunjukkan bagaimana Anda dapat terhubung ke sesi DCV yang berjalan di node kepala cluster Anda. Anda terhubung melalui EC2 instance Amazon proxy. Instance berfungsi sebagai server Amazon DCV untuk PC Anda dan sebagai klien untuk node kepala di subnet pribadi.

    Connect melalui DCV melalui instance proxy di subnet publik:

    1. Buat EC2 instance Amazon di subnet publik, yang berada di VPC yang sama dengan subnet cluster.

    2. Pastikan klien dan server Amazon DCV diinstal pada EC2 instans Amazon Anda.

    3. Lampirkan Kebijakan AWS ParallelCluster Pengguna ke EC2 instance Amazon proxy. Untuk informasi selengkapnya, lihat AWS ParallelCluster contoh kebijakan pcluster pengguna.

    4. Instal AWS ParallelCluster pada EC2 instance Amazon proxy.

    5. Connect melalui DCV ke EC2 instans Amazon proxy.

    6. Gunakan pcluster dcv-connect perintah pada instance proxy untuk terhubung ke cluster di dalam subnet tanpa akses internet.

  • Berinteraksi dengan AWS layanan lain: Hanya layanan yang benar-benar diperlukan oleh AWS ParallelCluster tercantum di atas. Jika klaster Anda harus berinteraksi dengan layanan lain, buat titik akhir VPC yang sesuai.