Cara membuat Endpoint Inferensi Asinkron

Buat titik akhir asinkron dengan cara yang sama seperti Anda membuat titik akhir menggunakan layanan hosting AI: SageMaker

• Buat model di SageMaker AI denganCreateModel.

• Buat konfigurasi titik akhir denganCreateEndpointConfig.

• Buat titik akhir HTTPS denganCreateEndpoint.

Untuk membuat titik akhir, pertama-tama Anda membuat model dengan CreateModel, di mana Anda menunjuk ke artefak model dan jalur registri Docker (Gambar). Anda kemudian membuat konfigurasi menggunakan CreateEndpointConfigtempat Anda menentukan satu atau beberapa model yang dibuat menggunakan CreateModel API untuk diterapkan dan sumber daya yang ingin disediakan oleh SageMaker AI. Buat titik akhir Anda dengan CreateEndpointmenggunakan konfigurasi titik akhir yang ditentukan dalam permintaan. Anda dapat memperbarui titik akhir asinkron dengan API. UpdateEndpoint Kirim dan terima permintaan inferensi dari model yang dihosting di titik akhir dengan. InvokeEndpointAsync Anda dapat menghapus titik akhir Anda dengan DeleteEndpointAPI.

Untuk daftar lengkap Gambar SageMaker AI yang tersedia, lihat Gambar Deep Learning Containers yang Tersedia. Lihat Wadah dengan kode inferensi khusus untuk informasi tentang cara membuat gambar Docker Anda.

Topik

• Buat Model

• Buat Konfigurasi Endpoint

• Buat Endpoint