Menerapkan Model

Untuk menerapkan model yang SageMaker dikompilasi Amazon Neo ke titik akhir HTTPS, Anda harus mengonfigurasi dan membuat titik akhir untuk model menggunakan layanan hosting Amazon. SageMaker Saat ini, pengembang dapat menggunakan Amazon SageMaker API untuk menyebarkan modul ke instans ml.c5, ml.c4, ml.m5, ml.m4, ml.p3, ml.p2, dan ml.inf1.

Untuk instance Inferentia dan Trainium, model perlu dikompilasi secara khusus untuk instance tersebut. Model yang dikompilasi untuk jenis instance lain tidak dijamin berfungsi dengan instans Inferentia atau Trainium.

Untuk akselerator Elastic Inference, model perlu dikompilasi khusus untuk perangkat ml_eia2. Untuk informasi tentang cara menerapkan model yang dikompilasi ke akselerator Elastic Inference, lihat. Gunakan EI di Titik Akhir yang SageMaker Dihosting Amazon

Saat menerapkan model yang dikompilasi, Anda perlu menggunakan instance yang sama untuk target yang Anda gunakan untuk kompilasi. Ini menciptakan SageMaker titik akhir yang dapat Anda gunakan untuk melakukan inferensi. Anda dapat menerapkan model yang dikompilasi NEO menggunakan salah satu dari berikut ini: Amazon SageMaker SDK untuk Python, SDK forPython (Boto3), dan konsol. AWS Command Line InterfaceSageMaker

catatan

Untuk menerapkan model menggunakan AWS CLI, konsol, atau Boto3, lihat Neo Inference Container Images untuk memilih URI gambar inferensi untuk container utama Anda.

Topik

• Prasyarat
• Menerapkan Model Terkompilasi Menggunakan SageMaker SDK
• Menyebarkan Model Kompilasi Menggunakan Boto3
• Menerapkan Model Kompilasi Menggunakan AWS CLI
• Menerapkan Model Terkompilasi Menggunakan Konsol