Menggunakan sistem berkas jaringan dengan AWS PCS

Anda dapat melampirkan volume penyimpanan jaringan ke node yang diluncurkan dalam grup node komputasi AWS Parallel Computing Service (AWS PCS) untuk menyediakan lokasi persisten di mana data dan file dapat ditulis dan diakses. Anda dapat menggunakan volume yang disediakan oleh AWS layanan. Volume termasuk Amazon Elastic File System (AmazonEFS), Amazon FSx for NetApp ONTAP, Amazon FSx for Open ZFS, Amazon FSx for Lustre, dan Amazon File Cache. Anda juga dapat menggunakan volume yang dikelola sendiri, seperti NFS server.

Topik ini mencakup pertimbangan dan contoh penggunaan sistem file jaringan dengan. AWS PCS

Pertimbangan untuk menggunakan sistem file jaringan

Detail implementasi untuk berbagai sistem file berbeda, tetapi ada beberapa pertimbangan umum.

• Perangkat lunak sistem file yang relevan harus diinstal pada instance. Misalnya, untuk menggunakan Amazon FSx untuk Lustre, Lustre paket yang sesuai harus ada. Ini dapat dicapai dengan memasukkannya ke dalam grup node komputasi AMI atau menggunakan skrip yang berjalan saat boot instance.

• Harus ada rute jaringan antara volume penyimpanan bersama dan instance grup node komputasi.

• Aturan grup keamanan pada volume penyimpanan bersama dan instance grup node komputasi harus mengizinkan koneksi ke port yang relevan.

• Anda harus mempertahankan namespace POSIX pengguna dan grup yang konsisten di seluruh sumber daya yang mengakses sistem file. Jika tidak, pekerjaan dan proses interaktif yang berjalan di PCS klaster Anda mungkin mengalami kesalahan izin.

• Pemasangan sistem file dilakukan dengan menggunakan templat EC2 peluncuran. Kesalahan atau batas waktu dalam memasang sistem file jaringan dapat mencegah instance menjadi tersedia untuk menjalankan pekerjaan. Ini, pada gilirannya, dapat menyebabkan biaya yang tidak terduga. Untuk informasi selengkapnya tentang men-debug template peluncuran, lihatMenggunakan template EC2 peluncuran Amazon dengan AWS PCS.

Contoh pemasangan jaringan

Anda dapat membuat sistem file menggunakan AmazonEFS, Amazon FSx untuk Lustre, Amazon FSx for OpenZFS, dan Amazon File Cache. Perluas bagian yang relevan di bawah ini untuk melihat contoh setiap pemasangan jaringan.

Amazon EFS

Pengaturan sistem file

Buat sistem EFS file Amazon. Pastikan ia memiliki target mount di setiap Availability Zone tempat Anda akan meluncurkan instance grup node PCS komputasi. Pastikan juga setiap target mount dikaitkan dengan grup keamanan yang memungkinkan akses masuk dan keluar dari instance grup node PCS komputasi. Untuk informasi selengkapnya, lihat Memasang target dan grup keamanan di Panduan Pengguna Amazon Elastic File System.

Luncurkan template

Tambahkan grup keamanan dari pengaturan sistem file Anda ke template peluncuran yang akan Anda gunakan untuk grup node komputasi.

Sertakan data pengguna yang menggunakan cloud-config mekanisme untuk memasang sistem EFS file Amazon. Ganti nilai berikut dalam skrip ini dengan detail Anda sendiri:

• mount-point-directory— Jalur pada setiap instance tempat Anda akan memasang Amazon EFS

• filesystem-id— ID sistem file untuk sistem EFS file

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

packages:
  - amazon-efs-utils

runcmd:
  - mkdir -p /mount-point-directory
  - echo "filesystem-id:/ /mount-point-directory efs tls,_netdev" >> /etc/fstab
  - mount -a -t efs defaults

--==MYBOUNDARY==--

Amazon FSx untuk Lustre

Pengaturan sistem file

Buat sistem file FSx for Lustre di VPC mana Anda akan menggunakan. AWS PCS Untuk meminimalkan transfer antar zona, terapkan di subnet di Availability Zone yang sama di mana Anda akan meluncurkan sebagian besar instance grup node PCS komputasi Anda. Pastikan sistem file dikaitkan dengan grup keamanan yang memungkinkan akses masuk dan keluar dari instance grup node PCS komputasi. Untuk informasi selengkapnya tentang grup keamanan, lihat Kontrol akses sistem berkas dengan Amazon VPC di Panduan Pengguna Amazon FSx for Lustre.

Luncurkan template

Sertakan data pengguna yang digunakan cloud-config untuk me-mount sistem file FSx for Lustre. Ganti nilai berikut dalam skrip ini dengan detail Anda sendiri:

• mount-point-directory— Jalur pada contoh di mana Anda ingin me-mount FSx untuk Lustre

• filesystem-id— ID sistem file FSx untuk sistem file Lustre

• mount-name— Nama mount untuk sistem file FSx untuk Lustre

• region-code— Di Wilayah AWS mana sistem file FSx for Lustre digunakan (harus sama dengan sistem Anda) AWS PCS

• (Opsional) latest - Versi apa pun yang Lustre didukung oleh FSx untuk Lustre

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=latest
- mkdir -p /mount-point-directory
- mount -t lustre filesystem-id.fsx.region-code.amazonaws.com@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==   
   

Amazon FSx untuk Terbuka ZFS

Pengaturan sistem file

Buat sistem ZFS file FSx for Open di VPC mana Anda akan menggunakan AWS PCS. Untuk meminimalkan transfer antar zona, terapkan di subnet di Availability Zone yang sama di mana Anda akan meluncurkan sebagian besar instance grup node AWS PCS komputasi Anda. Pastikan sistem file dikaitkan dengan grup keamanan yang memungkinkan akses masuk dan keluar dari instance grup node AWS PCS komputasi. Untuk informasi selengkapnya tentang grup keamanan, lihat Mengelola akses sistem file dengan Amazon VPC di FSxPanduan ZFS Pengguna Terbuka.

Luncurkan template

Sertakan data pengguna yang digunakan cloud-config untuk me-mount volume root untuk sistem ZFS file FSx for Open. Ganti nilai berikut dalam skrip ini dengan detail Anda sendiri:

• mount-point-directory— Jalur pada instance di mana Anda ingin memasang FSx untuk Open ZFS share

• filesystem-id— ID sistem file untuk sistem ZFS file FSx untuk Open

• region-code— Wilayah AWS Tempat sistem ZFS file FSx for Open digunakan (harus sama dengan AWS PCS sistem Anda)

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- mkdir -p /mount-point-directory
- mount -t nfs -o noatime,nfsvers=4.2,sync,rsize=1048576,wsize=1048576 filesystem-id.fsx.region-code.amazonaws.com:/fsx/ /mount-point-directory

--==MYBOUNDARY==

Cache File Amazon

Pengaturan sistem file

Buat Cache File Amazon di VPC tempat yang akan Anda gunakan AWS PCS. Untuk meminimalkan transfer antar zona, pilih subnet di Availability Zone yang sama di mana Anda akan meluncurkan sebagian besar instance grup node PCS komputasi Anda. Pastikan File Cache dikaitkan dengan grup keamanan yang memungkinkan lalu lintas masuk dan keluar pada port 988 antara PCS instance Anda dan File Cache. Untuk informasi selengkapnya tentang grup keamanan, lihat Kontrol akses cache dengan Amazon VPC di Panduan Pengguna Cache File Amazon.

Luncurkan template

Tambahkan grup keamanan dari pengaturan sistem file Anda ke template peluncuran yang akan Anda gunakan untuk grup node komputasi.

Sertakan data pengguna yang digunakan cloud-config untuk memasang Cache File Amazon. Ganti nilai berikut dalam skrip ini dengan detail Anda sendiri:

• mount-point-directory— Jalur pada contoh di mana Anda ingin me-mount FSx untuk Lustre

• cache-dns-name— Nama Sistem Nama Domain (DNS) untuk File Cache

• mount-name— Nama mount untuk File Cache

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=2.12
- mkdir -p /mount-point-directory
- mount -t lustre -o relatime,flock cache-dns-name@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==