Konfigurasikan penskalaan otomatis model dengan konsol

Untuk mengonfigurasi penskalaan otomatis untuk model (konsol)

1. Buka konsol Amazon SageMaker AI di https://console.aws.amazon.com/sagemaker/.

2. Pada panel navigasi, pilih Inferensi, lalu pilih Endpoints.

3. Pilih endpoint Anda, dan kemudian untuk pengaturan runtime Endpoint, pilih variannya.

4. Pilih Konfigurasi penskalaan otomatis.

5. Pada halaman Configure variant automatic scaling, untuk Variant automatic scaling, lakukan hal berikut:

   1. Untuk jumlah instans Minimum, ketikkan jumlah instans minimum yang ingin dipertahankan oleh kebijakan penskalaan. Setidaknya 1 instance diperlukan.

   2. Untuk jumlah instans Maksimum, ketikkan jumlah instans maksimum yang ingin dipertahankan oleh kebijakan penskalaan.

6. Untuk kebijakan penskalaan bawaan, lakukan hal berikut:

   1. Untuk metrik Target, SageMakerVariantInvocationsPerInstance secara otomatis dipilih untuk metrik dan tidak dapat diubah.

   2. Untuk nilai Target, ketikkan jumlah rata-rata pemanggilan per instance per menit untuk model. Untuk menentukan nilai ini, ikuti pedoman diPengujian beban.

   3. (Opsional) Untuk pendinginan Scale-in (detik) dan pendinginan Scale-out (detik), masukkan jumlah waktu, dalam detik, untuk setiap periode pendinginan.

   4. (Opsional) Pilih Nonaktifkan skala jika Anda tidak ingin penskalaan otomatis menghentikan instance saat lalu lintas menurun.

7. Pilih Simpan.

Prosedur ini mendaftarkan model sebagai target yang dapat diskalakan dengan Application Auto Scaling. Saat Anda mendaftarkan model, Application Auto Scaling melakukan pemeriksaan validasi untuk memastikan hal-hal berikut:

• Modelnya ada

• Izin sudah cukup

• Anda tidak mendaftarkan varian dengan instance yang merupakan instance kinerja yang dapat dibobol seperti T2

  catatan

  SageMaker AI tidak mendukung penskalaan otomatis untuk instans burstable seperti T2, karena mereka sudah memungkinkan peningkatan kapasitas di bawah peningkatan beban kerja. Untuk informasi tentang instans performa burstable, lihat jenis EC2 instans Amazon.