Dapatkan status titik akhir

Jika Anda ingin menggunakan model terlatih untuk melakukan inferensi pada data langsung, Anda menerapkan model Anda ke titik akhir waktu nyata. Untuk memastikan latensi prediksi yang sesuai, Anda ingin memastikan instance yang meng-host model Anda berjalan secara efisien. Fitur pemantauan titik akhir Model Dashboard menampilkan informasi real-time tentang konfigurasi titik akhir Anda dan membantu Anda melacak kinerja titik akhir dengan metrik.

Pengaturan monitor

Dasbor Model menautkan ke halaman detail titik akhir SageMaker AI yang ada yang menampilkan grafik metrik real-time yang dapat Anda pilih di Amazon. CloudWatch Di dasbor Anda, Anda dapat melacak metrik ini karena titik akhir Anda menangani permintaan inferensi waktu nyata. Beberapa metrik yang dapat Anda pilih adalah sebagai berikut:

• CpuUtilization: Jumlah dari setiap pemanfaatan inti CPU individu, dengan masing-masing berkisar dari 0% - 100%.

• MemoryUtilization: Persentase memori yang digunakan oleh kontainer pada sebuah instance, mulai dari 0% — 100%.

• DiskUtilization: Persentase ruang disk yang digunakan oleh kontainer pada instans, mulai dari 0% — 100%.

Untuk daftar lengkap metrik yang dapat Anda lihat secara real time, lihatMetrik Amazon SageMaker AI di Amazon CloudWatch.

Pengaturan runtime

Amazon SageMaker AI mendukung penskalaan otomatis (penskalaan otomatis) untuk model yang Anda hosting. Penskalaan otomatis secara dinamis menyesuaikan jumlah instance yang disediakan untuk model sebagai respons terhadap perubahan beban kerja Anda. Saat beban kerja meningkat, penskalaan otomatis menghadirkan lebih banyak instance online. Ketika beban kerja berkurang, penskalaan otomatis menghapus instans yang tidak perlu sehingga Anda tidak membayar untuk instans yang disediakan yang tidak Anda gunakan. Anda dapat mengkustomisasi pengaturan runtime berikut di Dasbor Model:

• Perbarui bobot: Ubah jumlah beban kerja yang ditetapkan untuk setiap instance dengan pembobotan numerik. Untuk informasi selengkapnya tentang pembobotan instans selama penskalaan otomatis, lihat Mengonfigurasi pembobotan instans untuk Amazon Auto EC2 Scaling.

• Perbarui jumlah instans: Ubah jumlah total instans yang dapat melayani beban kerja Anda saat meningkat.

Untuk informasi selengkapnya tentang pengaturan titik akhir, lihat CreateEndpointConfig.

Pengaturan konfigurasi titik akhir

Pengaturan konfigurasi titik akhir menampilkan pengaturan yang Anda tentukan saat membuat titik akhir. Pengaturan ini menginformasikan SageMaker AI sumber daya mana yang akan disediakan untuk titik akhir Anda. Pengaturan berikut disertakan dalam tabel :

• Pengambilan data: Anda dapat memilih untuk menangkap informasi tentang input dan output titik akhir Anda. Misalnya, Anda mungkin ingin mengambil sampel lalu lintas masuk untuk melihat apakah hasilnya berkorelasi dengan data pelatihan. Anda dapat menyesuaikan frekuensi pengambilan sampel, format data yang disimpan, dan lokasi Amazon S3 dari data yang disimpan. Untuk informasi selengkapnya tentang penyiapan konfigurasi pengambilan data, lihattangkapan data.

• Varian produksi: Lihat diskusi sebelumnya di pengaturan Runtime.

• Konfigurasi pemanggilan asinkron: Jika titik akhir Anda asinkron, bagian ini mencakup jumlah maksimum permintaan bersamaan yang dikirim oleh klien SageMaker AI ke wadah model, lokasi Amazon S3 dari notifikasi keberhasilan dan kegagalan Anda, dan lokasi keluaran keluaran titik akhir Anda. Untuk informasi selengkapnya tentang permintaan asinkron, lihat Operasi titik akhir asinkron.

• Kunci enkripsi: Anda dapat memasukkan kunci enkripsi Anda jika Anda ingin mengenkripsi output Anda.

Untuk informasi selengkapnya tentang mengonfigurasi VPC endpoint, lihat langkah 5 di CreateEndpointConfig.

Melihat status dan konfigurasi untuk titik akhir

Untuk melihat status dan konfigurasi titik akhir model, selesaikan langkah-langkah berikut:

1. Buka konsol SageMaker di .

2. Pilih Tata Kelola di panel kiri.

3. Pilih Dasbor Model.

4. Di bagian Model Dasbor Model, pilih nama model dari titik akhir yang ingin Anda lihat.

5. Pilih nama titik akhir di bagian Endpoints.