Berikan Akses Pekerjaan SageMaker Pemrosesan ke Sumber Daya di VPC Amazon Anda

Untuk mengontrol akses ke data dan pekerjaan pemrosesan Anda, buat VPC Amazon dengan subnet pribadi. Untuk informasi tentang membuat dan mengonfigurasi VPC, lihat Memulai Dengan Amazon VPC di Panduan Pengguna Amazon VPC.

Anda dapat memantau semua lalu lintas jaringan masuk dan keluar dari wadah pemrosesan Anda dengan menggunakan log aliran VPC. Untuk informasi selengkapnya, lihat Log Alur VPC di Panduan Pengguna Amazon VPC.

Dokumen ini menjelaskan cara menambahkan konfigurasi VPC Amazon untuk memproses pekerjaan.

Konfigurasikan Pekerjaan Pemrosesan untuk Akses VPC Amazon

Anda mengonfigurasi pekerjaan pemrosesan dengan menentukan subnet dan ID grup keamanan dalam VPC. Anda tidak perlu menentukan subnet untuk wadah pemrosesan. Amazon SageMaker secara otomatis menarik wadah pemrosesan dari Amazon ECR. Untuk informasi selengkapnya tentang memproses kontainer, lihatGunakan pekerjaan pemrosesan untuk menjalankan beban kerja transformasi data.

Saat membuat pekerjaan pemrosesan, Anda dapat menentukan subnet dan grup keamanan di VPC menggunakan konsol atau API. SageMaker

Untuk menggunakan API, Anda menentukan subnet dan ID grup keamanan dalam NetworkConfig.VpcConfig parameter CreateProcessingJoboperasi. SageMaker menggunakan subnet dan detail grup keamanan untuk membuat antarmuka jaringan dan menempelkannya ke wadah pemrosesan. Antarmuka jaringan menyediakan wadah pemrosesan dengan koneksi jaringan dalam VPC Anda. Ini memungkinkan pekerjaan pemrosesan terhubung ke sumber daya yang ada di VPC Anda.

Berikut ini adalah contoh VpcConfig parameter yang Anda sertakan dalam panggilan Anda ke CreateProcessingJob operasi:

VpcConfig: {
    "Subnets": [
        "subnet-0123456789abcdef0",
        "subnet-0123456789abcdef1",
        "subnet-0123456789abcdef2"
    ],    
    "SecurityGroupIds": [
        "sg-0123456789abcdef0"
    ]
}

Konfigurasikan VPC Pribadi Anda untuk Pemrosesan SageMaker

Saat mengonfigurasi VPC pribadi untuk pekerjaan pemrosesan SageMaker Anda, gunakan panduan berikut. Untuk informasi tentang menyiapkan VPC, lihat Bekerja dengan VPC dan Subnet di Panduan Pengguna Amazon VPC.

Pastikan Subnet Memiliki Alamat IP yang Cukup

Subnet VPC Anda harus memiliki setidaknya dua alamat IP pribadi untuk setiap instance dalam pekerjaan pemrosesan. Untuk informasi selengkapnya, lihat Pengukuran VPC dan subnet untuk IPv4 dalam Panduan Pengguna Amazon VPC.

Buat Endpoint VPC Amazon S3

Jika Anda mengonfigurasi VPC Anda sehingga wadah pemrosesan tidak memiliki akses ke internet, mereka tidak dapat terhubung ke bucket Amazon S3 yang berisi data Anda kecuali Anda membuat titik akhir VPC yang memungkinkan akses. Dengan membuat titik akhir VPC, Anda mengizinkan wadah pemrosesan mengakses bucket tempat Anda menyimpan data. Kami menyarankan Anda juga membuat kebijakan khusus yang hanya mengizinkan permintaan dari VPC pribadi Anda untuk mengakses bucket S3 Anda. Untuk informasi selengkapnya, lihat Titik Akhir untuk Amazon S3.

Untuk membuat titik akhir VPC S3:

1. Buka konsol Amazon VPC di https://console.aws.amazon.com/vpc/.

2. Di panel navigasi, pilih Endpoints, lalu pilih Create Endpoint

3. Untuk Nama Layanan, pilih com.amazonaws. wilayah .s3, di mana wilayah adalah nama wilayah tempat VPC Anda berada.

4. Untuk VPC, pilih VPC yang ingin Anda gunakan untuk titik akhir ini.

5. Untuk Konfigurasi tabel rute, pilih tabel rute yang akan digunakan oleh titik akhir. Layanan VPC secara otomatis menambahkan rute ke setiap tabel rute yang Anda pilih yang mengarahkan lalu lintas S3 ke titik akhir baru.

6. Untuk Kebijakan, pilih Akses Penuh untuk mengizinkan akses penuh ke layanan S3 oleh pengguna atau layanan apa pun dalam VPC. Pilih Custom untuk membatasi akses lebih lanjut. Untuk informasi, lihat Gunakan Kebijakan Titik Akhir Kustom untuk Membatasi Akses ke S3.

Gunakan Kebijakan Titik Akhir Kustom untuk Membatasi Akses ke S3

Kebijakan endpoint default memungkinkan akses penuh ke S3 untuk setiap pengguna atau layanan di VPC Anda. Untuk lebih membatasi akses ke S3, buat kebijakan titik akhir kustom. Untuk informasi selengkapnya, lihat Menggunakan Kebijakan Titik Akhir untuk Amazon S3. Anda juga dapat menggunakan kebijakan bucket untuk membatasi akses ke bucket S3 hanya untuk lalu lintas yang berasal dari VPC Amazon Anda. Untuk selengkapnya, lihat Menggunakan Kebijakan Bucket Amazon S3.

Batasi Instalasi Package pada Container Processing

Kebijakan endpoint default memungkinkan pengguna untuk menginstal paket dari repositori Amazon Linux dan Amazon Linux 2 pada wadah pemrosesan. Jika Anda tidak ingin pengguna menginstal paket dari repositori itu, buat kebijakan endpoint khusus yang secara eksplisit menolak akses ke repositori Amazon Linux dan Amazon Linux 2. Berikut ini adalah contoh kebijakan yang menolak akses ke repositori ini:

{ 
    "Statement": [ 
      { 
        "Sid": "AmazonLinuxAMIRepositoryAccess",
        "Principal": "*",
        "Action": [ 
            "s3:GetObject" 
        ],
        "Effect": "Deny",
        "Resource": [
            "arn:aws:s3:::packages.*.amazonaws.com/*",
            "arn:aws:s3:::repo.*.amazonaws.com/*"
        ] 
      } 
    ] 
} 

{ 
    "Statement": [ 
        { "Sid": "AmazonLinux2AMIRepositoryAccess",
          "Principal": "*",
          "Action": [ 
              "s3:GetObject" 
              ],
          "Effect": "Deny",
          "Resource": [
              "arn:aws:s3:::amazonlinux.*.amazonaws.com/*" 
              ] 
         } 
    ] 
} 

Konfigurasikan Tabel Rute

Gunakan pengaturan DNS default untuk tabel rute titik akhir Anda, sehingga URL Amazon S3 standar (misalnya,) teratasi. http://s3-aws-region.amazonaws.com/MyBucket Jika Anda tidak menggunakan pengaturan DNS default, pastikan URL yang Anda gunakan untuk menentukan lokasi data dalam pekerjaan pemrosesan Anda diselesaikan dengan mengonfigurasi tabel rute titik akhir. Untuk informasi tentang tabel rute titik akhir VPC, lihat Perutean untuk Titik Akhir Gateway di Panduan Pengguna Amazon VPC.

Konfigurasikan Grup Keamanan VPC

Dalam pemrosesan terdistribusi, Anda harus mengizinkan komunikasi antara wadah yang berbeda dalam pekerjaan pemrosesan yang sama. Untuk melakukan itu, konfigurasikan aturan untuk grup keamanan Anda yang memungkinkan koneksi masuk antara anggota grup keamanan yang sama. Untuk informasi selengkapnya, lihat Aturan Grup Keamanan.

Connect ke Sumber Daya di Luar VPC Anda

Jika Anda menghubungkan model Anda ke sumber daya di luar VPC tempat mereka berjalan, lakukan salah satu hal berikut:

• Connect to other AWS services — Jika model Anda memerlukan akses ke AWS layanan yang mendukung antarmuka Amazon VPC endpoint, buat endpoint untuk terhubung ke layanan tersebut. Untuk daftar layanan yang mendukung titik akhir antarmuka, lihat AWS layanan yang terintegrasi dengan AWS PrivateLink dalam Panduan AWS PrivateLink Pengguna. Untuk informasi tentang membuat titik akhir VPC antarmuka, lihat Mengakses AWS layanan menggunakan titik akhir VPC antarmuka di Panduan Pengguna. AWS PrivateLink

• Connect to resources through the internet — Jika model Anda berjalan pada instance di VPC Amazon yang tidak memiliki subnet dengan akses ke internet, model tidak akan memiliki akses ke sumber daya di internet. Jika model Anda memerlukan akses ke AWS layanan yang tidak mendukung titik akhir VPC antarmuka, atau ke sumber daya di luar AWS, pastikan Anda menjalankan model Anda di subnet pribadi yang memiliki akses ke internet menggunakan gateway NAT publik di subnet publik. Setelah model Anda berjalan di subnet pribadi, konfigurasikan grup keamanan dan daftar kontrol akses jaringan (NACL) Anda untuk memungkinkan koneksi keluar dari subnet pribadi ke gateway NAT publik di subnet publik. Untuk selengkapnya, lihat gateway NAT di Panduan Pengguna Amazon VPC.

Pantau Pekerjaan SageMaker Pemrosesan Amazon dengan CloudWatch Log dan Metrik

Amazon SageMaker menyediakan CloudWatch log dan metrik Amazon untuk memantau pekerjaan pelatihan. CloudWatch menyediakan CPU, GPU, memori, memori GPU, dan metrik disk, dan pencatatan peristiwa. Untuk informasi selengkapnya tentang memantau pekerjaan SageMaker pemrosesan Amazon, lihat Pantau Amazon SageMaker dengan Amazon CloudWatch danSageMaker pekerjaan dan metrik titik akhir.