Opsi penerapan model di Amazon AI SageMaker

Setelah melatih model pembelajaran mesin, Anda dapat menerapkannya menggunakan Amazon SageMaker AI untuk mendapatkan prediksi. Amazon SageMaker AI mendukung cara-cara berikut untuk menerapkan model, tergantung pada kasus penggunaan Anda:

• Untuk titik akhir real-time yang persisten yang membuat satu prediksi pada satu waktu, gunakan layanan hosting real-time SageMaker AI. Lihat Inferensi waktu nyata.

• Beban kerja yang memiliki periode idle antara lonjakan lalu lintas dan dapat mentolerir start dingin, gunakan Inferensi Tanpa Server. Lihat Terapkan model dengan Inferensi Tanpa SageMaker Server Amazon.

• Permintaan dengan ukuran muatan besar hingga 1GB, waktu pemrosesan yang lama, dan persyaratan latensi mendekati waktu nyata, menggunakan Inferensi Asinkron Amazon SageMaker . Lihat Inferensi asinkron.

• Untuk mendapatkan prediksi untuk seluruh kumpulan data, gunakan transformasi batch SageMaker AI. Lihat Transformasi Batch untuk inferensi dengan Amazon AI SageMaker .

SageMaker AI juga menyediakan fitur untuk mengelola sumber daya dan mengoptimalkan kinerja inferensi saat menerapkan model pembelajaran mesin:

• Untuk mengelola model pada perangkat edge sehingga Anda dapat mengoptimalkan, mengamankan, memantau, dan memelihara model pembelajaran mesin pada armada perangkat edge, lihatPenerapan model di tepi dengan SageMaker Edge Manager. Ini berlaku untuk perangkat edge seperti kamera pintar, robot, komputer pribadi, dan perangkat seluler.

• Untuk mengoptimalkan model Gluon, Keras MXNet,, PyTorch, TensorFlow, TensorFlow -Lite, dan ONNX untuk inferensi pada mesin Android, Linux, dan Windows berdasarkan prosesor dari Ambarella, ARM, Intel, Nvidia, NXP, Qualcomm, Texas Instruments, dan Xilinx, lihat. Optimalisasi kinerja model dengan SageMaker Neo

Untuk informasi selengkapnya tentang semua opsi penerapan, lihatMenyebarkan model untuk inferensi.