Berikan Akses Pekerjaan SageMaker Pelatihan ke Sumber Daya di VPC Amazon Anda

catatan

Untuk pekerjaan pelatihan, Anda hanya dapat mengonfigurasi subnet dengan VPC penyewaan default tempat instance Anda berjalan pada perangkat keras bersama. Untuk informasi selengkapnya tentang atribut tenancy untuk VPC, lihat Instans Khusus.

Konfigurasikan Training Job untuk Amazon VPC Access

Untuk mengontrol akses ke pekerjaan pelatihan Anda, jalankan di VPC Amazon dengan subnet pribadi yang tidak memiliki akses internet.

Anda mengonfigurasi tugas pelatihan untuk dijalankan di VPC dengan menentukan subnet dan ID grup keamanannya. Anda tidak perlu menentukan subnet untuk wadah pekerjaan pelatihan. Amazon SageMaker secara otomatis menarik gambar wadah pelatihan dari Amazon ECR.

Saat membuat pekerjaan pelatihan, Anda dapat menentukan subnet dan grup keamanan di VPC menggunakan konsol SageMaker Amazon atau API.

Untuk menggunakan API, Anda menentukan subnet dan ID grup keamanan dalam VpcConfig parameter CreateTrainingJoboperasi. SageMaker menggunakan subnet dan detail grup keamanan untuk membuat antarmuka jaringan dan menempelkannya ke wadah pelatihan. Antarmuka jaringan menyediakan wadah pelatihan dengan koneksi jaringan dalam VPC Anda. Ini memungkinkan pekerjaan pelatihan untuk terhubung ke sumber daya yang ada di VPC Anda.

Berikut ini adalah contoh VpcConfig parameter yang Anda sertakan dalam panggilan Anda ke CreateTrainingJob operasi:

VpcConfig: {
      "Subnets": [
          "subnet-0123456789abcdef0",
          "subnet-0123456789abcdef1",
          "subnet-0123456789abcdef2"
          ],
      "SecurityGroupIds": [
          "sg-0123456789abcdef0"
          ]
        }

Konfigurasikan VPC Pribadi Anda untuk Pelatihan SageMaker

Saat mengonfigurasi VPC pribadi untuk pekerjaan pelatihan SageMaker Anda, gunakan panduan berikut. Untuk informasi tentang menyiapkan VPC, lihat Bekerja dengan VPC dan Subnet di Panduan Pengguna Amazon VPC.

Pastikan Subnet Memiliki Alamat IP yang Cukup

Instans pelatihan yang tidak menggunakan Elastic Fabric Adapter (EFA) harus memiliki setidaknya 2 alamat IP pribadi. Contoh pelatihan yang menggunakan EFA harus memiliki setidaknya 5 alamat IP pribadi. Untuk informasi selengkapnya, lihat Beberapa alamat IP di Panduan Pengguna Amazon EC2.

Subnet VPC Anda harus memiliki setidaknya dua alamat IP pribadi untuk setiap instance dalam pekerjaan pelatihan. Untuk informasi selengkapnya, lihat Pengukuran VPC dan subnet untuk IPv4 dalam Panduan Pengguna Amazon VPC.

Buat Endpoint VPC Amazon S3

Jika Anda mengonfigurasi VPC agar wadah pelatihan tidak memiliki akses ke internet, wadah tersebut tidak dapat terhubung ke bucket Amazon S3 yang berisi data pelatihan kecuali Anda membuat titik akhir VPC yang memungkinkan akses. Dengan membuat titik akhir VPC, Anda mengizinkan wadah pelatihan Anda mengakses bucket tempat Anda menyimpan data dan artefak model. Kami menyarankan Anda juga membuat kebijakan khusus yang hanya mengizinkan permintaan dari VPC pribadi Anda untuk mengakses bucket S3 Anda. Untuk informasi selengkapnya, lihat Titik Akhir untuk Amazon S3.

Untuk membuat titik akhir VPC S3:

1. Buka konsol Amazon VPC di https://console.aws.amazon.com/vpc/.

2. Di panel navigasi, pilih Endpoints, lalu pilih Create Endpoint

3. Untuk Nama Layanan, cari com.amazonaws. wilayah .s3, di mana wilayah adalah nama wilayah tempat VPC Anda berada.

4. Pilih jenis Gateway.

5. Untuk VPC, pilih VPC yang ingin Anda gunakan untuk titik akhir ini.

6. Untuk Konfigurasi tabel rute, pilih tabel rute yang akan digunakan oleh titik akhir. Layanan VPC secara otomatis menambahkan rute ke setiap tabel rute yang Anda pilih yang mengarahkan lalu lintas S3 ke titik akhir baru.

7. Untuk Kebijakan, pilih Akses Penuh untuk mengizinkan akses penuh ke layanan S3 oleh pengguna atau layanan apa pun dalam VPC. Pilih Custom untuk membatasi akses lebih lanjut. Untuk informasi, lihat Gunakan Kebijakan Titik Akhir Kustom untuk Membatasi Akses ke S3.

Gunakan Kebijakan Titik Akhir Kustom untuk Membatasi Akses ke S3

Kebijakan endpoint default memungkinkan akses penuh ke S3 untuk setiap pengguna atau layanan di VPC Anda. Untuk lebih membatasi akses ke S3, buat kebijakan titik akhir kustom. Untuk informasi selengkapnya, lihat Menggunakan Kebijakan Titik Akhir untuk Amazon S3. Anda juga dapat menggunakan kebijakan bucket untuk membatasi akses ke bucket S3 hanya untuk lalu lintas yang berasal dari VPC Amazon Anda. Untuk selengkapnya, lihat Menggunakan Kebijakan Bucket Amazon S3.

Batasi Instalasi Package pada Training Container

Kebijakan endpoint default memungkinkan pengguna untuk menginstal paket dari repositori Amazon Linux dan Amazon Linux 2 pada wadah pelatihan. Jika Anda tidak ingin pengguna menginstal paket dari repositori itu, buat kebijakan endpoint khusus yang secara eksplisit menolak akses ke repositori Amazon Linux dan Amazon Linux 2. Berikut ini adalah contoh kebijakan yang menolak akses ke repositori ini:

{ 
    "Statement": [ 
      { 
        "Sid": "AmazonLinuxAMIRepositoryAccess",
        "Principal": "*",
        "Action": [ 
            "s3:GetObject" 
        ],
        "Effect": "Deny",
        "Resource": [
            "arn:aws:s3:::packages.*.amazonaws.com/*",
            "arn:aws:s3:::repo.*.amazonaws.com/*"
        ] 
      } 
    ] 
} 

{ 
    "Statement": [ 
        { "Sid": "AmazonLinux2AMIRepositoryAccess",
          "Principal": "*",
          "Action": [ 
              "s3:GetObject" 
              ],
          "Effect": "Deny",
          "Resource": [
              "arn:aws:s3:::amazonlinux.*.amazonaws.com/*" 
              ] 
         } 
    ] 
} 

Konfigurasikan Tabel Rute

Gunakan pengaturan DNS default untuk tabel rute titik akhir Anda, sehingga URL Amazon S3 standar (misalnya,) teratasi. http://s3-aws-region.amazonaws.com/MyBucket Jika Anda tidak menggunakan pengaturan DNS default, pastikan URL yang Anda gunakan untuk menentukan lokasi data dalam pekerjaan pelatihan Anda diselesaikan dengan mengonfigurasi tabel rute titik akhir. Untuk informasi tentang tabel rute titik akhir VPC, lihat Perutean untuk Titik Akhir Gateway di Panduan Pengguna Amazon VPC.

Konfigurasikan Grup Keamanan VPC

Dalam pelatihan terdistribusi, Anda harus mengizinkan komunikasi antara wadah yang berbeda dalam pekerjaan pelatihan yang sama. Untuk melakukan itu, konfigurasikan aturan untuk grup keamanan Anda yang memungkinkan koneksi masuk antara anggota grup keamanan yang sama. Untuk instans yang mendukung EFA, pastikan bahwa koneksi masuk dan keluar memungkinkan semua lalu lintas dari grup keamanan yang sama. Untuk selengkapnya, lihat Aturan Grup Keamanan di Panduan Pengguna Amazon Virtual Private Cloud.

Connect ke Sumber Daya di Luar VPC Anda

Jika Anda mengonfigurasi VPC Anda sehingga tidak memiliki akses internet, pekerjaan pelatihan yang menggunakan VPC tersebut tidak memiliki akses ke sumber daya di luar VPC Anda. Jika pekerjaan pelatihan Anda membutuhkan akses ke sumber daya di luar VPC Anda, berikan akses dengan salah satu opsi berikut:

• Jika pekerjaan pelatihan Anda memerlukan akses ke AWS layanan yang mendukung titik akhir VPC antarmuka, buat titik akhir untuk terhubung ke layanan tersebut. Untuk daftar layanan yang mendukung titik akhir antarmuka, lihat Titik Akhir VPC di Panduan Pengguna Amazon Virtual Private Cloud. Untuk informasi tentang membuat titik akhir VPC antarmuka, lihat Titik Akhir VPC Antarmuka (AWS PrivateLink) di Panduan Pengguna Amazon Virtual Private Cloud.

• Jika tugas pelatihan Anda memerlukan akses ke AWS layanan yang tidak mendukung titik akhir VPC antarmuka atau sumber daya di luar AWS, buat gateway NAT dan konfigurasikan grup keamanan Anda untuk mengizinkan koneksi keluar. Untuk informasi tentang menyiapkan gateway NAT untuk VPC Anda, lihat Skenario 2: VPC dengan Subnet Publik dan Pribadi (NAT) di Panduan Pengguna Amazon Virtual Private Cloud.

Pantau Pekerjaan SageMaker Pelatihan Amazon dengan CloudWatch Log dan Metrik

Amazon SageMaker menyediakan CloudWatch log dan metrik Amazon untuk memantau pekerjaan pelatihan. CloudWatch menyediakan CPU, GPU, memori, memori GPU, dan metrik disk, dan pencatatan peristiwa. Untuk informasi selengkapnya tentang memantau pekerjaan SageMaker pelatihan Amazon, lihat Pantau Amazon SageMaker dengan Amazon CloudWatch danSageMaker Lowongan Kerja dan Metrik Titik Akhir.