Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Inferensi asinkron
Amazon SageMaker Asynchronous Inference adalah kemampuan dalam SageMaker AI yang mengantri permintaan masuk dan memprosesnya secara asinkron. Opsi ini sangat ideal untuk permintaan dengan ukuran muatan besar (hingga 1GB), waktu pemrosesan yang lama (hingga satu jam), dan persyaratan latensi mendekati waktu nyata. Inferensi Asinkron memungkinkan Anda menghemat biaya dengan menskalakan otomatis jumlah instans ke nol saat tidak ada permintaan untuk diproses, jadi Anda hanya membayar saat titik akhir memproses permintaan.
Cara Kerjanya
Membuat titik akhir inferensi asinkron mirip dengan membuat titik akhir inferensi waktu nyata. Anda dapat menggunakan model SageMaker AI yang ada dan hanya perlu menentukan AsyncInferenceConfig objek saat membuat konfigurasi titik akhir dengan EndpointConfig bidang di CreateEndpointConfig API. Diagram berikut menunjukkan arsitektur dan alur kerja Inferensi Asinkron.
Untuk memanggil titik akhir, Anda harus menempatkan payload permintaan di Amazon S3. Anda juga perlu memberikan pointer ke muatan ini sebagai bagian dari permintaan. InvokeEndpointAsync Setelah pemanggilan, SageMaker AI mengantri permintaan untuk diproses dan mengembalikan pengenal dan lokasi keluaran sebagai respons. Setelah diproses, SageMaker AI menempatkan hasilnya di lokasi Amazon S3. Anda dapat memilih untuk menerima pemberitahuan sukses atau kesalahan dengan Amazon SNS. Untuk informasi selengkapnya tentang cara mengatur notifikasi asinkron, lihat. Periksa hasil prediksi
catatan
Kehadiran objek konfigurasi inferensi asinkron (AsyncInferenceConfig) dalam konfigurasi titik akhir menyiratkan bahwa titik akhir hanya dapat menerima pemanggilan asinkron.
Bagaimana Saya Memulai?
Jika Anda adalah pengguna pertama kali Inferensi SageMaker Asinkron Amazon, kami sarankan Anda melakukan hal berikut:
-
Baca Operasi titik akhir asinkron untuk informasi tentang cara membuat, memanggil, memperbarui, dan menghapus titik akhir asinkron.
-
Jelajahi notebook contoh Inferensi Asinkron
di aws/ repositori. amazon-sagemaker-examples GitHub
Perhatikan bahwa jika titik akhir Anda menggunakan salah satu fitur yang tercantum di Pengecualian halaman ini, Anda tidak dapat menggunakan Inferensi Asinkron.
