Prasyarat untuk menggunakan SageMaker HyperPod

Bagian berikut memandu Anda melalui prasyarat sebelum memulai. SageMaker HyperPod

SageMaker HyperPod kuota

Anda dapat membuat SageMaker HyperPod cluster yang diberikan kuota untuk penggunaan klaster di akun Anda AWS .

penting

Untuk mempelajari lebih lanjut tentang SageMaker HyperPod harga, lihat SageMaker HyperPod harga dan Harga Amazon SageMaker AI.

Lihat SageMaker HyperPod kuota Amazon menggunakan AWS Management Console

Cari nilai default dan terapan kuota, juga disebut sebagai batas, untuk penggunaan klaster, yang digunakan untuk SageMaker HyperPod.

1. Buka konsol Service Quotas.

2. Di panel navigasi kiri, pilih AWS layanan.

3. Dari daftar AWS layanan, cari dan pilih Amazon SageMaker AI.

4. Dalam daftar Kuota layanan, Anda dapat melihat nama kuota layanan, nilai yang diterapkan (jika tersedia), kuota AWS default, dan apakah nilai kuota dapat disesuaikan.

5. Di bilah pencarian, ketik penggunaan cluster. Ini menunjukkan kuota untuk penggunaan cluster, kuota yang diterapkan, dan kuota default.

Minta peningkatan SageMaker HyperPod kuota Amazon menggunakan AWS Management Console

Tingkatkan kuota Anda di tingkat akun atau sumber daya.

1. Untuk menambah kuota instans untuk penggunaan klaster, pilih kuota yang ingin Anda tingkatkan.

2. Jika kuota dapat disesuaikan, Anda dapat meminta peningkatan kuota di tingkat akun atau tingkat sumber daya berdasarkan nilai yang tercantum di kolom Adjustability.

3. Untuk Meningkatkan nilai kuota, masukkan nilai baru. Nilai baru lebih besar dari nilai saat ini.

4. Pilih Permintaan.

5. Untuk melihat permintaan yang tertunda atau yang baru saja diselesaikan di konsol, navigasikan ke tab Riwayat permintaan dari halaman detail layanan, atau pilih Dasbor dari panel navigasi. Untuk permintaan yang tertunda, pilih status permintaan untuk membuka penerimaan permintaan. Status awal dari permintaan adalah Tertunda. Setelah status berubah menjadi Kuota yang diminta, Anda melihat nomor kasus dengan AWS Dukungan. Pilih nomor kasus untuk membuka tiket untuk permintaan Anda.

Untuk mempelajari lebih lanjut tentang meminta peningkatan kuota secara umum, lihat Meminta Peningkatan Kuota dalam Panduan Pengguna Service QuotasAWS .

Menyiapkan SageMaker HyperPod dengan VPC Amazon Anda

Untuk menyiapkan SageMaker HyperPod cluster dengan VPC Amazon Anda, periksa item berikut.

catatan

Diperlukan untuk mengatur dengan Amazon EKS. Untuk mengatur dengan Slurm, menyiapkan VPC Anda sendiri adalah opsional.

• Sebelum membuat SageMaker HyperPod cluster dengan VPC kustom, pastikan bahwa Anda Akun AWS memiliki kapasitas yang cukup untuk membuat jumlah Elastic Network Interfaces (ENIs) yang diperlukan dalam VPC tersebut. Batas ini dikendalikan oleh Amazon EC2 dan bervariasi menurut Wilayah AWS. SageMaker HyperPod tidak dapat meminta kenaikan batas atas nama Anda.

  Untuk memeriksa batas ENI Anda saat ini:

  1. Buka konsol Service Quotas.

  2. Di bagian Kelola kuota, gunakan daftar drop-down AWS Layanan untuk mencari VPC.

  3. Pilih untuk melihat kuota Amazon Virtual Private Cloud (Amazon VPC).

  4. Cari kuota layanan Antarmuka jaringan per Wilayah atau kode Kuota. L-DF5E4CA3

  Jika batas Anda saat ini tidak mencukupi untuk kebutuhan SageMaker HyperPod klaster Anda, mintalah peningkatan kuota. Memastikan kapasitas ENI yang memadai sebelumnya membantu mencegah kegagalan pembuatan klaster.

• Jika Anda ingin menggunakan VPC Anda sendiri untuk terhubung SageMaker HyperPod dengan AWS sumber daya di VPC Anda, Anda harus memberikan nama VPC, ID, ID subnet, dan ID Wilayah AWS grup keamanan saat Anda membuat. SageMaker HyperPod Jika Anda ingin membuat VPC baru, lihat Membuat VPC default atau Membuat VPC di Panduan Pengguna Amazon Virtual Private Cloud.

• Penting bagi Anda untuk membuat semua sumber daya Anda Wilayah AWS sama dengan SageMaker HyperPod klaster Anda dan mengonfigurasi aturan grup keamanan untuk memungkinkan koneksi antar sumber daya di VPC Anda. Misalnya, asumsikan bahwa Anda membuat VPC di. us-west-2 Anda harus membuat subnet di VPC ini di satu atau beberapa Availability Zone sesuai kebutuhan (us-west-2aseperti us-west-2b atau), dan membuat grup keamanan yang memungkinkan semua lalu lintas masuk (masuk) dari dalam grup keamanan dan semua lalu lintas keluar.

  catatan

  Saat menyiapkan SageMaker HyperPod cluster, Anda dapat memilih untuk menerapkan di beberapa Availability Zone. Untuk informasi selengkapnya, lihat Menyiapkan SageMaker HyperPod cluster di beberapa AZs.

• Anda juga perlu memastikan bahwa VPC Anda memiliki koneksi ke Amazon Simple Storage Service (Amazon S3). Jika Anda mengonfigurasi VPC, grup SageMaker HyperPod instans tidak memiliki akses ke internet, dan karenanya tidak dapat terhubung ke Amazon S3 untuk mengakses atau menyimpan file seperti skrip siklus hidup, data pelatihan, dan artefak model. Untuk membuat koneksi dengan Amazon S3 saat menggunakan VPC, Anda harus membuat titik akhir VPC. Dengan membuat titik akhir VPC, Anda dapat mengizinkan grup SageMaker HyperPod instans mengakses bucket Amazon S3 dalam VPC yang sama. Kami menyarankan Anda juga membuat kebijakan khusus yang hanya mengizinkan permintaan dari VPC pribadi Anda untuk mengakses bucket Amazon S3 Anda. Untuk informasi selengkapnya, lihat Titik Akhir untuk Amazon S3 di AWS PrivateLink Panduan.

• Jika Anda ingin membuat HyperPod klaster dengan instans yang mendukung EFA, pastikan Anda menyiapkan grup keamanan untuk mengizinkan semua lalu lintas masuk dan keluar ke dan dari grup keamanan itu sendiri. Perhatikan bahwa mengizinkan lalu lintas keluar 0.0.0.0/0 tidak cukup dan dapat menyebabkan pemeriksaan kesehatan EFA gagal. Pastikan Anda menambahkan aturan lalu lintas keluar eksplisit ke grup keamanan sehingga instance dalam grup keamanan dapat berkomunikasi. Untuk mempelajari selengkapnya, lihat Langkah 1: Mempersiapkan grup keamanan berkemampuan EFA di EC2 Panduan Pengguna Amazon.

Menyiapkan SageMaker HyperPod cluster di beberapa AZs

Anda dapat mengatur SageMaker HyperPod klaster di beberapa Availability Zones (AZs) untuk mendapatkan kapasitas instans yang lebih tinggi.

catatan

Lalu lintas Elastic Fabric Adapter (EFA) tidak dapat menyeberang atau. AZs VPCs Ini tidak berlaku untuk lalu lintas IP normal dari perangkat ENA antarmuka EFA. Untuk informasi lebih lanjut, lihat batasan EFA.

Saat Anda membuat HyperPod klaster, semua HyperPod instance dibuat dalam AZ yang sama menggunakan VpcConfigpada level cluster. Untuk mempelajari lebih lanjut tentang VPCs dan cara membuat yang baru untuk klaster Anda, lihat bagian sebelumnya,. Menyiapkan SageMaker HyperPod dengan VPC Amazon Anda

Anda dapat mengatur HyperPod cluster Anda di beberapa AZs saat Anda membuat atau memperbarui cluster Anda menggunakan konsol SageMaker AI. Atau, Anda dapat menggunakan yang berikut ini APIs.

Selama InstanceGrouppembuatan baru menggunakan CreateClusterdan UpdateCluster APIs, Anda dapat menggunakan OverrideVpcConfig properti di InstanceGroup tingkat tersebut untuk mengganti subnet IDs dan grup keamanan untuk. InstanceGroup Daftar berikut memberikan informasi tentangOverrideVpcConfig. OverrideVpcConfigBidang:

• Tidak dapat diubah. Setelah grup instance dibuat, itu akan selalu dikaitkan dengan subnet yang sama di akun.

• Adalah opsional.

  • Jika tidak ditentukan, tingkat cluster VpcConfig akan digunakan sebagai default.

  • Ketika ditentukan, kedua sub-bidang, Subnets danSecurityGroupIds, diperlukan.

• Memiliki dua sub-bidang:

  • Subnetssub-bidang mendukung ID subnet tunggal untuk grup instance.

  • SecurityGroupIdssub-bidang mendukung 1 - 5 entri.

catatan

Latensi jaringan dapat terdegradasi untuk beban kerja yang dijalankan di beberapa. AZs

Menyiapkan AWS Systems Manager dan Jalankan Sebagai untuk kontrol akses pengguna cluster

SageMaker HyperPod DLAMIdilengkapi dengan AWS Systems Manager(SSM) di luar kotak untuk membantu Anda mengelola akses ke grup instans SageMaker HyperPod cluster Anda. Bagian ini menjelaskan cara membuat pengguna sistem operasi (OS) di SageMaker HyperPod cluster Anda dan mengaitkannya dengan pengguna dan peran IAM. Ini berguna untuk mengautentikasi sesi SSM menggunakan kredensil akun pengguna OS.

catatan

Memberikan pengguna akses ke node HyperPod cluster memungkinkan mereka untuk menginstal dan mengoperasikan perangkat lunak yang dikelola pengguna pada node. Pastikan Anda mempertahankan prinsip izin hak istimewa paling sedikit bagi pengguna.

Mengaktifkan Run As di akun Anda AWS

Sebagai admin AWS akun atau administrator cloud, Anda dapat mengelola akses ke SageMaker HyperPod cluster pada peran IAM atau tingkat pengguna dengan menggunakan fitur Run As di SSM. Dengan fitur ini, Anda dapat memulai setiap sesi SSM menggunakan pengguna OS yang terkait dengan peran IAM atau pengguna.

Untuk mengaktifkan Run As di AWS akun Anda, ikuti langkah-langkah di Turn on Run As support for Linux dan macOS managed node. Jika Anda sudah membuat pengguna OS di klaster Anda, pastikan Anda mengaitkannya dengan peran IAM atau pengguna dengan menandai mereka sebagai dipandu di Opsi 2 dari langkah 5 di bawah Untuk mengaktifkan dukungan Run As untuk Linux dan node yang dikelola macOS.

(Opsional) Menyiapkan SageMaker HyperPod dengan Amazon FSx untuk Lustre

Untuk mulai menggunakan SageMaker HyperPod dan memetakan jalur data antara cluster dan sistem Lustre fille Anda FSx , pilih salah satu yang didukung oleh. Wilayah AWS SageMaker HyperPod Setelah memilih yang Wilayah AWS Anda inginkan, Anda juga harus menentukan Availability Zone (AZ) mana yang akan digunakan.

Jika Anda menggunakan node SageMaker HyperPod komputasi AZs berbeda dari AZs tempat sistem FSx for Lustre fille Anda diatur dalam hal yang sama Wilayah AWS, mungkin ada komunikasi dan overhead jaringan. Kami menyarankan Anda untuk menggunakan AZ fisik yang sama dengan AZ untuk akun SageMaker HyperPod layanan untuk menghindari lalu lintas lintas lintas AZ antara SageMaker HyperPod kluster dan sistem lustre FSx file Anda. Juga, pastikan Anda telah mengonfigurasinya dengan VPC Anda. Jika Anda ingin menggunakan Amazon FSx sebagai sistem file utama untuk penyimpanan, Anda harus mengonfigurasi SageMaker HyperPod cluster dengan VPC Anda.