Uji pagar pembatas - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Uji pagar pembatas

Setelah Anda membuat pagar pembatas, versi draft (DRAFT) yang berfungsi tersedia. Draf kerja adalah versi pagar pembatas yang dapat Anda edit dan ulangi terus hingga Anda mencapai konfigurasi yang memuaskan untuk kasus penggunaan Anda. Anda dapat menguji draf kerja atau versi pagar pembatas lainnya untuk melihat apakah konfigurasi sesuai untuk kasus penggunaan Anda. Edit konfigurasi dalam draf kerja dan uji petunjuk yang berbeda untuk melihat seberapa baik pagar pembatas mengevaluasi dan mencegat petunjuk atau tanggapan. Ketika Anda puas dengan konfigurasi, Anda kemudian dapat membuat versi pagar pembatas, yang bertindak sebagai snapshot dari konfigurasi draf kerja saat Anda membuat versi. Anda dapat menggunakan versi untuk merampingkan penerapan pagar pembatas ke aplikasi produksi setiap kali Anda melakukan modifikasi pada pagar pembatas Anda. Setiap perubahan pada draf kerja atau versi baru yang dibuat tidak akan tercermin dalam aplikasi AI generatif Anda sampai Anda secara khusus menggunakan versi baru dalam aplikasi.

Console
Untuk menguji pagar pembatas
  1. Masuk ke AWS Management Console menggunakan peran IAM dengan izin Amazon Bedrock, dan buka konsol Amazon Bedrock di https://console.aws.amazon.com/bedrock/.

  2. Pilih Guardrails dari panel navigasi kiri. Kemudian, pilih pagar pembatas di bagian Guardrails.

  3. Jendela tes muncul di sebelah kanan. Anda memiliki opsi berikut di jendela pengujian:

    1. Secara default, draf kerja pagar pembatas digunakan di jendela uji. Untuk menguji versi pagar pembatas yang berbeda, pilih Draf kerja di bagian atas jendela pengujian, lalu pilih versinya.

    2. Untuk memilih model, pilih Pilih model. Setelah Anda membuat pilihan, pilih Terapkan. Untuk mengubah model, pilih Ubah.

    3. Masukkan prompt di kotak Prompt.

    4. Untuk mendapatkan respons model, pilih Jalankan.

    5. Model mengembalikan respons di kotak respons Akhir (yang dapat dimodifikasi oleh pagar pembatas). Jika pagar pembatas memblokir atau memfilter respons prompt atau model, sebuah pesan muncul di bawah pemeriksaan Pagar Pembatas yang memberi tahu Anda berapa banyak pelanggaran yang terdeteksi pagar pembatas.

    6. Untuk melihat topik atau kategori berbahaya dalam prompt atau respons yang dikenali dan diizinkan melewati filter atau diblokir olehnya, pilih Lihat jejak.

    7. Gunakan tab respons Prompt dan Model untuk melihat topik atau kategori berbahaya yang disaring atau diblokir oleh pagar pembatas.

Anda juga dapat menguji pagar pembatas di taman bermain Teks. Pilih taman bermain dan pilih Guardrail di panel Konfigurasi sebelum menguji prompt.

API

Untuk menggunakan pagar pembatas dalam pemanggilan model, kirim atau minta. InvokeModelInvokeModelWithResponseStream Atau, jika Anda sedang membangun aplikasi percakapan, Anda dapat menggunakan Converse API.

Format permintaan

Titik akhir permintaan untuk menjalankan model, dengan dan tanpa streaming, adalah sebagai berikut. Ganti modelID dengan ID model yang akan digunakan.

  • InvokeModel— POST/model/ModelID/memanggil HTTP/1.1

  • InvokeModelWithResponseStream— POST/model/ModelID/HTTP/1.1 invoke-with-response-stream

Header untuk kedua operasi API adalah dari format berikut.

Accept: accept Content-Type: contentType X-Amzn-Bedrock-Trace: trace X-Amzn-Bedrock-GuardrailIdentifier: guardrailIdentifier X-Amzn-Bedrock-GuardrailVersion: guardrailVersion

Parameter dijelaskan di bawah ini.

  • Setel Accept ke tipe MIME dari badan inferensi dalam respons. Nilai default-nya adalah application/json.

  • Setel Content-Type ke tipe MIME dari data input dalam permintaan. Nilai default-nya adalah application/json.

  • Setel X-Amzn-Bedrock-Trace ENABLED untuk mengaktifkan jejak untuk melihat antara lain konten apa yang diblokir oleh pagar pembatas dan mengapa..

  • Tetapkan X-Amzn-Bedrock-GuardrailIdentifier dengan pengenal pagar pembatas pagar pembatas yang ingin Anda terapkan pada permintaan ke permintaan dan respons model.

  • Setel X-Amzn-Bedrock-GuardrailVersion dengan versi pagar pembatas yang ingin Anda terapkan pada permintaan dan respons model.

Format badan permintaan umum ditampilkan dalam contoh berikut. tagSuffixProperti ini hanya digunakan dengan tag Input. Anda juga dapat mengonfigurasi pagar pembatas saat streaming secara sinkron atau asinkron dengan menggunakan. streamProcessingMode Ini hanya bekerja denganInvokeModelWithResponseStream.

{ <see model details>, "amazon-bedrock-guardrailConfig": { "tagSuffix": "string", "streamProcessingMode": "SYNCHRONOUS" | "ASYNCHRONOUS" } }
Awas

Anda akan mendapatkan kesalahan dalam situasi berikut

  • Anda mengaktifkan pagar pembatas tetapi tidak ada amazon-bedrock-guardrailConfig bidang di badan permintaan.

  • Anda menonaktifkan pagar pembatas tetapi Anda menentukan amazon-bedrock-guardrailConfig bidang di badan permintaan.

  • Anda mengaktifkan pagar pembatas tetapi contentType tidak. application/json

Untuk melihat badan permintaan untuk model yang berbeda, lihatParameter inferensi untuk model pondasi.

catatan

Untuk Cohere Command model, Anda hanya dapat menentukan satu generasi di num_generations lapangan jika Anda menggunakan pagar pembatas.

Jika Anda mengaktifkan pagar pembatas dan jejaknya, format umum respons untuk memanggil model, dengan dan tanpa streaming, adalah sebagai berikut. Untuk melihat format sisa body untuk setiap model, lihatParameter inferensi untuk model pondasi. ContentType cocok dengan apa yang Anda tentukan dalam permintaan.

  • InvokeModel

    HTTP/1.1 200 Content-Type: contentType { <see model details for model-specific fields>, "completion": "<model response>", "amazon-bedrock-guardrailAction": "INTERVENED | NONE", "amazon-bedrock-trace": { "guardrail": { "modelOutput": [ "<see model details for model-specific fields>" ], "input": { "<sample-guardrailId>": { "topicPolicy": { "topics": [ { "name": "string", "type": "string", "action": "string" } ] }, "contentPolicy": { "filters": [ { "type": "string", "confidence": "string", "action": "string" } ] }, "wordPolicy": { "customWords": [ { "match": "string", "action": "string" } ], "managedWordLists": [ { "match": "string", "type": "string", "action": "string" } ] }, "sensitiveInformationPolicy": { "piiEntities": [ { "type": "string", "match": "string", "action": "string" } ], "regexes": [ { "name": "string", "regex": "string", "match": "string", "action": "string" } ] } } }, "outputs": ["<same guardrail trace format as input>"] } } }
  • InvokeModelWithResponseStream— Setiap respons mengembalikan teks chunk yang ada di bytes lapangan, di samping pengecualian apa pun yang terjadi. Jejak pagar pembatas dikembalikan hanya untuk potongan terakhir.

    HTTP/1.1 200 X-Amzn-Bedrock-Content-Type: contentType Content-type: application/json { "chunk": { "bytes": "<blob>" }, "internalServerException": {}, "modelStreamErrorException": {}, "throttlingException": {}, "validationException": {}, "amazon-bedrock-guardrailAction": "INTERVENED | NONE", "amazon-bedrock-trace": { "guardrail": { "modelOutput": ["<see model details for model-specific fields>"], "input": { "<sample-guardrailId>": { "topicPolicy": { "topics": [ { "name": "string", "type": "string", "action": "string" } ] }, "contentPolicy": { "filters": [ { "type": "string", "confidence": "string", "action": "string" } ] }, "wordPolicy": { "customWords": [ { "match": "string", "action": "string" } ], "managedWordLists": [ { "match": "string", "type": "string", "action": "string" } ] }, "sensitiveInformationPolicy": { "piiEntities": [ { "type": "string", "match": "string", "action": "string" } ], "regexes": [ { "name": "string", "regex": "string", "match": "string", "action": "string" } ] } } }, "outputs": ["<same guardrail trace format as input>"] } } }

Respons mengembalikan bidang berikut jika Anda mengaktifkan pagar pembatas.

  • amazon-bedrock-guardrailAction— Menentukan apakah pagar pembatas INTERVENED atau tidak (). NONE

  • amazon-bedrock-trace— Hanya muncul jika Anda mengaktifkan jejak. Berisi daftar jejak, yang masing-masing memberikan informasi tentang konten yang diblokir pagar pembatas. Jejak berisi bidang-bidang berikut:

    • modelOutput— Objek yang berisi output dari model yang diblokir.

    • input— Berisi rincian berikut tentang penilaian pagar pembatas atas prompt:

      • topicPolicy— Berisitopics, daftar penilaian untuk setiap kebijakan topik yang dilanggar. Setiap topik mencakup bidang-bidang berikut:

        • name— Nama kebijakan topik.

        • type— Menentukan apakah untuk menolak topik.

        • action— Menentukan bahwa topik diblokir

      • contentPolicy— Berisifilters, daftar penilaian untuk setiap filter konten yang dilanggar. Setiap filter mencakup bidang-bidang berikut:

        • type— Kategori filter konten.

        • confidence— Tingkat kepercayaan bahwa output dapat dikategorikan sebagai milik kategori berbahaya.

        • action— Menentukan bahwa konten diblokir. Hasil ini tergantung pada kekuatan filter yang dipasang di pagar pembatas.

      • wordPolicy— Berisi kumpulan kata-kata khusus dan kata-kata yang dikelola disaring dan penilaian yang sesuai pada kata-kata itu. Setiap daftar berisi bidang-bidang berikut:

        • customWords— Daftar kata-kata khusus yang cocok dengan filter.

          • match— Kata atau frasa yang cocok dengan filter.

          • action— Menentukan bahwa kata itu diblokir.

        • managedWordLists— Daftar kata terkelola yang cocok dengan filter.

          • match— Kata atau frasa yang cocok dengan filter.

          • type- Menentukan jenis kata yang dikelola yang cocok dengan filter. Misalnya, PROFANITY jika cocok dengan filter kata-kata kotor.

          • action— Menentukan bahwa kata itu diblokir.

      • sensitiveInformationPolicy— Berisi objek berikut, yang berisi penilaian untuk informasi identitas pribadi (PII) dan filter regex yang dilanggar:

        • piiEntities— Daftar penilaian untuk setiap filter PII yang dilanggar. Setiap filter berisi bidang-bidang berikut:

          • typeJenis PII yang ditemukan

          • match— Kata atau frasa yang cocok dengan filter.

          • action- Menentukan apakah kata itu BLOCKED atau diganti dengan identifier ()ANONYMIZED.

        • regexes— Daftar penilaian untuk setiap filter regex yang dilanggar. Setiap filter berisi bidang-bidang berikut:

          • name— Nama filter regex.

          • regexJenis PII yang ditemukan

          • match— Kata atau frasa yang cocok dengan filter.

          • action- Menentukan apakah kata itu BLOCKED atau diganti dengan identifier ()ANONYMIZED.

    • outputs— Daftar detail tentang penilaian pagar pembatas terhadap respons model. Setiap item dalam daftar adalah objek yang cocok dengan format input objek. Untuk lebih jelasnya, lihat input bidangnya.