Opsi penerapan model di Amazon SageMaker

Setelah melatih model pembelajaran mesin, Anda dapat menerapkannya menggunakan Amazon SageMaker untuk mendapatkan prediksi. Amazon SageMaker mendukung cara-cara berikut untuk menerapkan model, tergantung pada kasus penggunaan Anda:

• Untuk titik akhir real-time yang persisten yang membuat satu prediksi pada satu waktu, gunakan layanan hosting SageMaker real-time. Lihat Inferensi waktu nyata.

• Beban kerja yang memiliki periode idle antara lonjakan lalu lintas dan dapat mentolerir start dingin, gunakan Inferensi Tanpa Server. Lihat Terapkan model dengan Inferensi Tanpa SageMaker Server Amazon.

• Permintaan dengan ukuran muatan besar hingga 1GB, waktu pemrosesan yang lama, dan persyaratan latensi mendekati waktu nyata, menggunakan Inferensi Asinkron Amazon SageMaker . Lihat Inferensi asinkron.

• Untuk mendapatkan prediksi untuk seluruh kumpulan data, gunakan transformasi SageMaker batch. Lihat Transformasi Batch untuk inferensi dengan Amazon SageMaker.

SageMaker juga menyediakan fitur untuk mengelola sumber daya dan mengoptimalkan kinerja inferensi saat menerapkan model pembelajaran mesin:

• Untuk mengelola model pada perangkat edge sehingga Anda dapat mengoptimalkan, mengamankan, memantau, dan memelihara model pembelajaran mesin pada armada perangkat edge, lihatPenerapan model di tepi dengan SageMaker Edge Manager. Ini berlaku untuk perangkat edge seperti kamera pintar, robot, komputer pribadi, dan perangkat seluler.

• Untuk mengoptimalkan Gluon, Keras,MXNet, PyTorch, TensorFlow, TensorFlow -Lite, dan ONNX model untuk inferensi pada mesin Android, Linux, dan Windows berdasarkan prosesor dari Ambarella, Intel, Nvidia,, QualcommARM, Texas InstrumentsNXP, dan Xilinx, lihat. Optimalisasi kinerja model dengan SageMaker Neo

Untuk informasi selengkapnya tentang semua opsi penerapan, lihatMenyebarkan model untuk inferensi.