Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Setelah Anda memiliki titik akhir dan memahami alur kerja inferensi umum, Anda dapat menggunakan fitur berikut di SageMaker AI untuk meningkatkan alur kerja inferensi Anda.
Pemantauan
Untuk melacak model Anda dari waktu ke waktu melalui metrik seperti akurasi model dan penyimpangan, Anda dapat menggunakan Model Monitor. Dengan Model Monitor, Anda dapat mengatur peringatan yang memberi tahu Anda ketika ada penyimpangan dalam kualitas model Anda. Untuk mempelajari lebih lanjut, lihat dokumentasi Model Monitor.
Untuk mempelajari lebih lanjut tentang alat yang dapat digunakan untuk memantau penerapan model dan peristiwa yang mengubah titik akhir Anda, lihat Memantau Amazon AI. SageMaker Misalnya, Anda dapat memantau kesehatan titik akhir Anda melalui metrik seperti kesalahan pemanggilan dan latensi model menggunakan metrik Amazon. CloudWatch Metrik pemanggilan titik akhir SageMaker AI dapat memberi Anda informasi berharga tentang kinerja titik akhir Anda.
CI/CD untuk penerapan model
Untuk mengumpulkan solusi pembelajaran mesin dalam SageMaker AI, Anda dapat menggunakan SageMaker AI MLOps. Anda dapat menggunakan fitur ini untuk mengotomatiskan langkah-langkah dalam alur kerja pembelajaran mesin Anda dan berlatih CI/CD. Anda dapat menggunakan Template MLOps Proyek untuk membantu penyiapan dan implementasi MLOps proyek SageMaker AI. SageMaker AI juga mendukung penggunaan repo Git pihak ketiga Anda sendiri untuk membuat sistem CI/CD.
Untuk pipeline ML Anda, gunakan Model Registry untuk mengelola versi model Anda serta penerapan serta otomatisasi model Anda.
Pagar pembatas penyebaran
Jika Anda ingin memperbarui model Anda saat sedang dalam produksi tanpa memengaruhi produksi, Anda dapat menggunakan pagar pembatas penerapan. Pagar pembatas penerapan adalah serangkaian opsi penerapan model dalam Inferensi SageMaker AI untuk memperbarui model pembelajaran mesin Anda dalam produksi. Dengan menggunakan opsi penerapan yang dikelola sepenuhnya, Anda dapat mengontrol sakelar dari model saat ini dalam produksi ke yang baru. Mode perpindahan lalu lintas memberi Anda kontrol terperinci atas proses perpindahan lalu lintas, dan perlindungan bawaan seperti rollback otomatis membantu Anda menangkap masalah sejak dini.
Untuk mempelajari selengkapnya tentang pagar pembatas penerapan, lihat dokumentasi pagar pembatas penerapan.
Inferensia
Jika Anda perlu menjalankan pembelajaran mesin skala besar dan aplikasi pembelajaran mendalam, Anda dapat menggunakan Inf1 instance dengan titik akhir waktu nyata. Jenis instance ini cocok untuk kasus penggunaan seperti pengenalan gambar atau ucapan, pemrosesan bahasa alami (NLP), personalisasi, peramalan, atau deteksi penipuan.
Inf1instance dibangun untuk mendukung aplikasi inferensi pembelajaran mesin dan menampilkan chip AWS Inferentia. Inf1Instans memberikan throughput yang lebih tinggi dan biaya per inferensi yang lebih rendah daripada instans berbasis GPU.
Untuk menerapkan model pada Inf1 instance, kompilasi model Anda dengan SageMaker Neo dan pilih Inf1 instance untuk opsi penerapan Anda. Untuk mempelajari lebih lanjut, lihat Mengoptimalkan kinerja model menggunakan SageMaker Neo.
Optimalkan kinerja model
SageMaker AI menyediakan fitur untuk mengelola sumber daya dan mengoptimalkan kinerja inferensi saat menerapkan model pembelajaran mesin. Anda dapat menggunakan algoritme bawaan SageMaker AI dan model pra-bangun, serta gambar Docker bawaan, yang dikembangkan untuk pembelajaran mesin.
Untuk melatih model dan mengoptimalkannya untuk penerapan, lihat gambar Docker bawaan Mengoptimalkan kinerja model menggunakan Neo. SageMaker Dengan SageMaker Neo, Anda dapat melatih TensorFlow, Apache MXNet, PyTorch, ONNX, dan model. XGBoost Kemudian, Anda dapat mengoptimalkannya dan menerapkannya pada prosesor ARM, Intel, dan Nvidia.
Penskalaan otomatis
Jika Anda memiliki jumlah lalu lintas yang bervariasi ke titik akhir Anda, Anda mungkin ingin mencoba penskalaan otomatis. Misalnya, selama jam sibuk, Anda mungkin memerlukan lebih banyak instance untuk memproses permintaan. Namun, selama periode lalu lintas rendah, Anda mungkin ingin mengurangi penggunaan sumber daya komputasi. Untuk menyesuaikan jumlah instans yang disediakan secara dinamis sebagai respons terhadap perubahan beban kerja Anda, lihat. Penskalaan otomatis model Amazon SageMaker AI
Jika Anda memiliki pola lalu lintas yang tidak dapat diprediksi atau tidak ingin menyiapkan kebijakan penskalaan, Anda juga dapat menggunakan Inferensi Tanpa Server untuk titik akhir. Kemudian, SageMaker AI mengelola penskalaan otomatis untuk Anda. Selama periode lalu lintas rendah, SageMaker AI menurunkan titik akhir Anda, dan jika lalu lintas meningkat, maka SageMaker AI meningkatkan titik akhir Anda. Untuk informasi lebih lanjut, lihat Terapkan model dengan Inferensi Tanpa SageMaker Server Amazon dokumentasi.
