Berikan Akses Pekerjaan Pelatihan SageMaker AI ke Sumber Daya di VPC Amazon Anda

catatan

Untuk pekerjaan pelatihan, Anda hanya dapat mengonfigurasi subnet dengan VPC penyewaan default tempat instance Anda berjalan pada perangkat keras bersama. Untuk informasi selengkapnya tentang atribut tenancy VPCs, lihat Instans Khusus.

Konfigurasikan Training Job untuk Amazon VPC Access

Untuk mengontrol akses ke pekerjaan pelatihan Anda, jalankan di VPC Amazon dengan subnet pribadi yang tidak memiliki akses internet.

Anda mengonfigurasi pekerjaan pelatihan untuk dijalankan di VPC dengan menentukan subnet dan grup keamanannya. IDs Anda tidak perlu menentukan subnet untuk wadah pekerjaan pelatihan. Amazon SageMaker AI secara otomatis menarik citra kontainer pelatihan dari Amazon ECR.

Saat membuat pekerjaan pelatihan, Anda dapat menentukan subnet dan grup keamanan di VPC menggunakan konsol SageMaker Amazon AI atau API.

Untuk menggunakan API, Anda menentukan subnet dan grup keamanan IDs dalam VpcConfig parameter CreateTrainingJoboperasi. SageMaker AI menggunakan subnet dan detail grup keamanan untuk membuat antarmuka jaringan dan menempelkannya ke wadah pelatihan. Antarmuka jaringan menyediakan wadah pelatihan dengan koneksi jaringan dalam VPC Anda. Ini memungkinkan pekerjaan pelatihan untuk terhubung ke sumber daya yang ada di VPC Anda.

Berikut ini adalah contoh VpcConfig parameter yang Anda sertakan dalam panggilan ke CreateTrainingJob operasi:

VpcConfig: {
      "Subnets": [
          "subnet-0123456789abcdef0",
          "subnet-0123456789abcdef1",
          "subnet-0123456789abcdef2"
          ],
      "SecurityGroupIds": [
          "sg-0123456789abcdef0"
          ]
        }

Konfigurasikan VPC Pribadi Anda untuk Pelatihan AI SageMaker

Saat mengonfigurasi VPC pribadi untuk pekerjaan pelatihan AI SageMaker Anda, gunakan panduan berikut. Untuk informasi selengkapnya, lihat Bekerja dengan VPC dan Subnet VPCs di Panduan Pengguna Amazon VPC.

Pastikan Subnet Memiliki Alamat IP yang Cukup

Instans pelatihan yang tidak menggunakan Elastic Fabric Adapter (EFA) harus memiliki setidaknya 2 alamat IP pribadi. Instans pelatihan yang menggunakan EFA harus memiliki setidaknya 5 alamat IP pribadi. Untuk informasi selengkapnya, lihat alamat IPv6 di Panduan Pengguna Amazon EC2.

Subnet VPC Anda harus memiliki setidaknya dua alamat IP pribadi untuk setiap instance dalam pekerjaan pelatihan. Untuk informasi selengkapnya, lihat Pengukuran VPC dan subnet untuk IPv4 IPv4 dalam Panduan Pengguna Amazon VPC.

Buat VPC Endpoint Amazon S3.

Jika Anda mengonfigurasi VPC agar wadah pelatihan tidak memiliki akses ke internet, wadah tersebut tidak dapat terhubung ke bucket Amazon S3 yang berisi data pelatihan kecuali Anda membuat titik akhir VPC yang memungkinkan akses. Dengan membuat titik akhir VPC, Anda mengizinkan wadah pelatihan Anda mengakses bucket tempat Anda menyimpan data dan artefak model. Kami menyarankan Anda juga membuat kebijakan khusus yang hanya mengizinkan permintaan dari VPC pribadi Anda untuk mengakses bucket S3 Anda. Untuk informasi selengkapnya, lihat Titik akhir gateway untuk Amazon S3.

Untuk membuat titik akhir di VPC Anda

1. Buka Konsol VPC Amazon di https://console.aws.amazon.com/vpc/.

2. Pilih Titik akhir dari panel navigasi, lalu pilih Buat titik akhir.

3. Untuk Nama Layanan, cari com.amazonaws. region.s3, di region mana nama wilayah tempat VPC Anda berada.

4. Pilih jenis Gateway.

5. Untuk VPC, pilih VPC yang ingin Anda menggunakan untuk endpoint ini.

6. Untuk Tabel rute, pilih tabel rute yang akan digunakan oleh titik akhir. Layanan VPC secara otomatis menambahkan rute ke setiap tabel rute yang Anda pilih yang mengarahkan lalu lintas S3 ke titik akhir baru.

7. Untuk Kebijakan, pilih Akses Penuh untuk mengizinkan akses penuh ke layanan S3 oleh pengguna atau layanan apa pun dalam VPC. Pilih Custom untuk membatasi akses lebih lanjut. Untuk informasi, lihat Gunakan Kebijakan Endpoint Kustom untuk Membatasi Akses ke S3.

Gunakan Kebijakan Endpoint Kustom untuk Membatasi Akses ke S3

Kebijakan endpoint default memungkinkan akses penuh ke S3 untuk setiap pengguna atau layanan di VPC Anda. Untuk lebih membatasi akses ke S3, buat kebijakan titik akhir kustom. Untuk informasi selengkapnya, lihat Kebijakan titik akhir untuk Amazon S3. Anda juga dapat menggunakan kebijakan bucket untuk membatasi akses ke bucket S3 hanya untuk lalu lintas yang berasal dari VPC Amazon Anda. Untuk informasi, lihat Menggunakan Kebijakan Bucket Amazon S3.

Batasi Instalasi Package pada Training Container

Kebijakan endpoint default memungkinkan pengguna untuk menginstal paket dari repositori Amazon Linux dan Amazon Linux 2 pada wadah pelatihan. Jika Anda tidak ingin pengguna menginstal paket dari repositori itu, buat kebijakan endpoint khusus yang secara eksplisit menolak akses ke repositori Amazon Linux dan Amazon Linux 2. Berikut ini adalah kebijakan contoh yang menolak akses ke repositori ini:

{ 
    "Statement": [ 
      { 
        "Sid": "AmazonLinuxAMIRepositoryAccess",
        "Principal": "*",
        "Action": [ 
            "s3:GetObject" 
        ],
        "Effect": "Deny",
        "Resource": [
            "arn:aws:s3:::packages.*.amazonaws.com/*",
            "arn:aws:s3:::repo.*.amazonaws.com/*"
        ] 
      } 
    ] 
} 

{ 
    "Statement": [ 
        { "Sid": "AmazonLinux2AMIRepositoryAccess",
          "Principal": "*",
          "Action": [ 
              "s3:GetObject" 
              ],
          "Effect": "Deny",
          "Resource": [
              "arn:aws:s3:::amazonlinux.*.amazonaws.com/*" 
              ] 
         } 
    ] 
} 

Mengkonfigurasi Tabel rute

Gunakan pengaturan DNS default untuk tabel rute titik akhir Anda, sehingga Amazon URLs S3 standar (misalnyahttp://s3-aws-region.amazonaws.com/amzn-s3-demo-bucket,) diselesaikan. Jika Anda tidak menggunakan pengaturan DNS default, pastikan URLs bahwa yang Anda gunakan untuk menentukan lokasi data dalam pekerjaan pelatihan Anda diselesaikan dengan mengonfigurasi tabel rute titik akhir. Untuk informasi tentang tabel rute titik akhir VPC, lihat Perutean untuk Titik Akhir Gateway di Panduan Pengguna Amazon VPC.

Konfigurasikan Grup Keamanan VPC

Dalam pelatihan terdistribusi, Anda harus mengizinkan komunikasi antara wadah yang berbeda dalam pekerjaan pelatihan yang sama. Untuk melakukan itu, konfigurasikan aturan untuk grup keamanan Anda yang memungkinkan koneksi masuk antara anggota grup keamanan yang sama. Untuk instans yang mendukung EFA, pastikan bahwa koneksi masuk dan keluar memungkinkan semua lalu lintas dari grup keamanan yang sama. Untuk informasi lebih lanjut, lihat Grup Keamanan untuk VPC Anda dalam Panduan Pengguna Amazon Virtual Private Cloud.

Connect ke Sumber Daya di Luar VPC Anda

Jika Anda mengonfigurasi VPC Anda sehingga tidak memiliki akses internet, pekerjaan pelatihan yang menggunakan VPC tersebut tidak memiliki akses ke sumber daya di luar VPC Anda. Jika pekerjaan pelatihan Anda membutuhkan akses ke sumber daya di luar VPC Anda, berikan akses dengan salah satu opsi berikut:

• Jika pekerjaan pelatihan Anda memerlukan akses ke AWS layanan yang mendukung titik akhir VPC antarmuka, buat titik akhir untuk terhubung ke layanan tersebut. Untuk daftar layanan yang mendukung titik akhir antarmuka, lihat Titik Akhir VPC di Panduan Pengguna Amazon Virtual Private Cloud. Untuk informasi selengkapnya tentang titik akhir VPC, lihat Titik Akhir VPC Antarmuka (AWS PrivateLink PrivateLink) dalam Panduan Pengguna Amazon VPC.

• Jika tugas pelatihan Anda memerlukan akses ke AWS layanan yang tidak mendukung titik akhir VPC antarmuka atau sumber daya di luar AWS, buat gateway NAT dan konfigurasikan grup keamanan Anda untuk mengizinkan koneksi keluar. Untuk informasi selengkapnya, lihat Skenario 2: VPC dengan subnet publik dan privat (NAT) di Panduan Pengguna Amazon VPC.

Pantau Pekerjaan SageMaker Pelatihan Amazon dengan CloudWatch Log dan Metrik

Amazon SageMaker AI menyediakan CloudWatch log dan metrik Amazon untuk memantau pekerjaan pelatihan. CloudWatch menyediakan CPU, GPU, memori, memori GPU, dan metrik disk, dan pencatatan peristiwa. Untuk informasi selengkapnya tentang cara memantau pekerjaan, lihat .