Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Konfigurasikan perilaku respons streaming
InvokeModelWithResponseStreamAPI mengembalikan data dalam format streaming. Ini memungkinkan Anda mengakses respons dalam potongan tanpa menunggu seluruh hasilnya. Saat menggunakan Guardrails dengan respons streaming, ada dua mode operasi: sinkron dan asinkron.
Mode sinkron
Dalam mode sinkron default, Guardrails akan menyangga dan menerapkan kebijakan yang dikonfigurasi ke satu atau beberapa potongan respons sebelum repsonse dikirim kembali ke pengguna. Mode pemrosesan sinkron memperkenalkan beberapa latensi ke potongan respons, karena itu berarti respons tertunda hingga pemindaian Pagar Pembatas selesai. Namun, ini memberikan akurasi yang lebih baik, karena setiap potongan respons dipindai oleh Guardrails sebelum dikirim ke pengguna.
Mode asinkron
Dalam mode asinkron, Guardrails mengirimkan potongan respons ke pengguna segera setelah tersedia, sambil menerapkan kebijakan yang dikonfigurasi secara asinkron di latar belakang. Keuntungannya adalah potongan respons diberikan segera tanpa dampak latensi, tetapi potongan respons mungkin berisi konten yang tidak pantas hingga pemindaian Guardrails selesai. Segera setelah konten yang tidak pantas diidentifikasi, potongan berikutnya akan diblokir oleh pagar pembatas.
Awas
Penyembunyian informasi sensitif dalam respons model dapat sangat terpengaruh dalam mode asinkron karena respons asli dapat dikembalikan ke pengguna sebelum deteksi Pagar Pembatas dan penyembunyian konten sensitif apa pun dalam respons model. Oleh karena itu, untuk kasus penggunaan seperti itu, mode asinkron tidak disarankan.
Mengaktifkan mode asinkron
Untuk mengaktifkan mode asinkron, Anda perlu menyertakan streamProcessingMode parameter dalam amazon-bedrock-guardrailConfig objek permintaan Anda: InvokeModelWithResponseStream
{ "amazon-bedrock-guardrailConfig": { "streamProcessingMode": "ASYNCHRONOUS" } }
Dengan memahami trade-off antara mode sinkron dan asinkron, Anda dapat memilih mode yang sesuai berdasarkan persyaratan aplikasi Anda untuk latensi dan akurasi moderasi konten.
