Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
CloudWatch Metrik untuk Penerapan Titik Akhir Multi-Model
Amazon SageMaker menyediakan metrik untuk titik akhir sehingga Anda dapat memantau tingkat hit cache, jumlah model yang dimuat, dan waktu tunggu model untuk memuat, mengunduh, dan mengunggah di titik akhir multi-model. Beberapa metrik berbeda untuk titik akhir multi-model yang didukung CPU dan GPU, jadi bagian berikut menjelaskan CloudWatch metrik Amazon yang dapat Anda gunakan untuk setiap jenis titik akhir multi-model.
Untuk informasi selengkapnya tentang metrik, lihat Metrik Pemuatan Model Titik Akhir Multi-Model dan Metrik Instance Model Titik Akhir Multi-Model di. Pantau Amazon SageMaker dengan Amazon CloudWatch Metrik per model tidak didukung.
CloudWatch metrik untuk titik akhir multi-model yang didukung CPU
Anda dapat memantau metrik berikut pada titik akhir multi-model yang didukung CPU.
AWS/SageMakerNamespace menyertakan metrik pemuatan model berikut dari panggilan ke. InvokeEndpoint
Metrik tersedia pada frekuensi 1 menit.
Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat GetMetricStatisticsdi Referensi Amazon CloudWatch API.
Metrik Pemuatan Model Titik Akhir Multi-Model
| Metrik | Deskripsi |
|---|---|
ModelLoadingWaitTime |
Interval waktu permintaan pemanggilan telah menunggu model target diunduh, atau dimuat, atau keduanya untuk melakukan inferensi. Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelUnloadingTime |
Interval waktu yang diperlukan untuk membongkar model melalui panggilan Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelDownloadingTime |
Interval waktu yang dibutuhkan untuk mengunduh model dari Amazon Simple Storage Service (Amazon S3). Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelLoadingTime |
Interval waktu yang diperlukan untuk memuat model melalui panggilan Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelCacheHit |
Jumlah Statistik rata-rata menunjukkan rasio permintaan yang modelnya sudah dimuat. Satuan: Tidak ada Statistik yang valid: Rata-rata, Jumlah, Jumlah Sampel |
Dimensi untuk Metrik Pemuatan Model Titik Akhir Multi-Model
| Dimensi | Deskripsi |
|---|---|
EndpointName, VariantName |
Memfilter metrik pemanggilan titik akhir untuk titik akhir dan |
/aws/sagemaker/EndpointsRuang nama menyertakan metrik instance berikut dari panggilan ke. InvokeEndpoint
Metrik tersedia pada frekuensi 1 menit.
Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat GetMetricStatisticsdi Referensi Amazon CloudWatch API.
Metrik Instans Model Titik Akhir Multi-Model
| Metrik | Deskripsi |
|---|---|
LoadedModelCount |
Jumlah model yang dimuat dalam wadah titik akhir multi-model. Metrik ini dipancarkan per instance. Statistik rata-rata dengan periode 1 menit memberi tahu Anda jumlah rata-rata model yang dimuat per instance. Statistik Jumlah memberi tahu Anda jumlah total model yang dimuat di semua instance di titik akhir. Model yang dilacak metrik ini belum tentu unik karena model mungkin dimuat dalam beberapa wadah di titik akhir. Satuan: Tidak ada Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
CPUUtilization |
Jumlah dari setiap pemanfaatan inti CPU individu. Pemanfaatan CPU dari setiap rentang inti adalah 0-100. Misalnya, jika ada empat CPU, Untuk varian endpoint, nilainya adalah jumlah dari pemanfaatan CPU dari wadah primer dan tambahan pada instance. Unit: Persen |
MemoryUtilization |
Persentase memori yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai ini adalah 0% - 100%. Untuk varian titik akhir, nilainya adalah jumlah dari pemanfaatan memori wadah primer dan tambahan pada instance. Unit: Persen |
DiskUtilization |
Persentase ruang disk yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai ini adalah 0% - 100%. Untuk varian endpoint, nilainya adalah jumlah dari pemanfaatan ruang disk dari wadah primer dan tambahan pada instance. Unit: Persen |
CloudWatch metrik untuk penerapan titik akhir multi-model GPU
Anda dapat memantau metrik berikut pada titik akhir multi-model yang didukung GPU.
AWS/SageMakerNamespace menyertakan metrik pemuatan model berikut dari panggilan ke. InvokeEndpoint
Metrik tersedia pada frekuensi 1 menit.
Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat GetMetricStatisticsdi Referensi Amazon CloudWatch API.
Metrik Pemuatan Model Titik Akhir Multi-Model
| Metrik | Deskripsi |
|---|---|
ModelLoadingWaitTime |
Interval waktu permintaan pemanggilan telah menunggu model target diunduh, atau dimuat, atau keduanya untuk melakukan inferensi. Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelUnloadingTime |
Interval waktu yang diperlukan untuk membongkar model melalui panggilan Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelDownloadingTime |
Interval waktu yang dibutuhkan untuk mengunduh model dari Amazon Simple Storage Service (Amazon S3). Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelLoadingTime |
Interval waktu yang diperlukan untuk memuat model melalui panggilan Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
ModelCacheHit |
Jumlah Statistik rata-rata menunjukkan rasio permintaan yang modelnya sudah dimuat. Satuan: Tidak ada Statistik yang valid: Rata-rata, Jumlah, Jumlah Sampel |
Dimensi untuk Metrik Pemuatan Model Titik Akhir Multi-Model
| Dimensi | Deskripsi |
|---|---|
EndpointName, VariantName |
Memfilter metrik pemanggilan titik akhir untuk titik akhir dan |
/aws/sagemaker/EndpointsRuang nama menyertakan metrik instance berikut dari panggilan ke. InvokeEndpoint
Metrik tersedia pada frekuensi 1 menit.
Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat GetMetricStatisticsdi Referensi Amazon CloudWatch API.
Metrik Instans Model Titik Akhir Multi-Model
| Metrik | Deskripsi |
|---|---|
LoadedModelCount |
Jumlah model yang dimuat dalam wadah titik akhir multi-model. Metrik ini dipancarkan per instance. Statistik rata-rata dengan periode 1 menit memberi tahu Anda jumlah rata-rata model yang dimuat per instance. Statistik Jumlah memberi tahu Anda jumlah total model yang dimuat di semua instance di titik akhir. Model yang dilacak metrik ini belum tentu unik karena model mungkin dimuat dalam beberapa wadah di titik akhir. Satuan: Tidak ada Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
CPUUtilization |
Jumlah dari setiap pemanfaatan inti CPU individu. Pemanfaatan CPU dari setiap rentang inti adalah 0-100. Misalnya, jika ada empat CPU, Untuk varian endpoint, nilainya adalah jumlah dari pemanfaatan CPU dari wadah primer dan tambahan pada instance. Unit: Persen |
MemoryUtilization |
Persentase memori yang digunakan oleh kontainer pada sebuah instance. Rentang nilai ini adalah 0% ‐ 100%. Untuk varian titik akhir, nilainya adalah jumlah dari pemanfaatan memori wadah primer dan tambahan pada instance. Unit: Persen |
GPUUtilization |
Persentase unit GPU yang digunakan oleh kontainer pada sebuah instance. Nilai dapat berkisar antara rentang adalah 0-100 dan dikalikan dengan jumlah GPU. Misalnya, jika ada empat GPU, Untuk varian endpoint, nilainya adalah jumlah dari pemanfaatan GPU dari wadah primer dan tambahan pada instance. Unit: Persen |
GPUMemoryUtilization |
Persentase memori GPU yang digunakan oleh kontainer pada sebuah instance. Rentang nilai adalah 0-100 dan dikalikan dengan jumlah GPU. Misalnya, jika ada empat GPU, Untuk varian titik akhir, nilainya adalah jumlah dari pemanfaatan memori GPU dari wadah primer dan tambahan pada instance. Unit: Persen |
DiskUtilization |
Persentase ruang disk yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai ini adalah 0% - 100%. Untuk varian endpoint, nilainya adalah jumlah dari pemanfaatan ruang disk dari wadah primer dan tambahan pada instance. Unit: Persen |
