本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使用護欄與匡威 API
您可以使用護欄來保護您使用 Converse API 建立的對話式應用程式。例如,如果您使用 Converse API 創建聊天應用程序,則可以使用護欄阻止用戶輸入的不適當內容以及模型生成的不適當內容。如需有關匡威 API 的資訊,請參閱使用匡威 API。
調用匡威 API
若要使用護欄,您可以在呼叫 Converse 或 ConverseStream(用於串流回應) 作業中加入護欄的組態資訊。或者,您可以在要護欄評估的訊息中選取特定內容。如需可與護欄和 Converse API 搭配使用之模型的相關資訊,請參閱。支援的型號和模型特徵
配置護欄
您可以在guardrailConfig
輸入參數中指定護欄的規劃資訊。組態包括 ID 和您要使用的護欄版本。您也可以啟用護欄的追蹤,以提供護欄封鎖之內容的相關資訊。
隨著Converse
操作,guardrailConfig
是一個GuardrailConfiguration對象,如下面的例子所示。
{ "guardrailIdentifier": "
Guardrail ID
", "guardrailVersion": "Guardrail version
", "trace": "enabled" }
如果你使用ConverseStream
,你傳遞一個GuardrailStreamConfiguration對象。或者,您可以使用streamProcessingMode
欄位來指定您要模型在傳回串流回應區塊之前完成護欄評估。或者,您可以讓模型異步響應,而護欄在後台繼續其評估。如需詳細資訊,請參閱 設定串流回應行為。
守護訊息
當您將訊息 (訊息) 傳遞給模型時,護欄會評估訊息中的內容。或者,您可以透過指定 guardContent
(GuardrailConverseContentBlock) 欄位來保護郵件中選取的內容。護欄僅評估guardContent
欄位中的內容,而不會評估訊息的其餘部分。這對於讓護欄只評估交談中最多的訊息非常有用,如下列範例所示。
[ { "role": "user", "content": [ { "text": "Create a playlist of 2 pop songs." } ] }, { "role": "assistant", "content": [ { "text": " Sure! Here are two pop songs:\n1. \"Bad Habits\" by Ed Sheeran\n2. \"All Of The Lights\" by Kanye West\n\nWould you like to add any more songs to this playlist? " } ] }, { "role": "user", "content": [ { "guardContent": { "text": { "text": "Create a playlist of 2 heavy metal songs." } } } ] } ]
另一個用途是為消息提供額外的上下文,而不必讓護欄評估該附加上下文。
[ { "role": "user", "content": [ { "text": "Only answer with a list of songs." }, { "guardContent": { "text": { "text": "Create a playlist of heavy metal songs." } } } ] } ]
注意
使用該guardContent
字段類似於使用帶InvokeModel有和的輸入標籤。InvokeModelWithResponseStream如需詳細資訊,請參閱 使用標籤選擇性評估用戶輸入。
防護系統提示
您可以將護欄與傳送至 Converse API 的系統提示一起使用。若要保護系統提示,請在傳遞至 API 的系統提示中指定 guardContent
(SystemContentBlock) 欄位,如下列範例所示。
[ { "guardContent": { "text": { "text": "Only respond with Welsh heavy metal songs." } } } ]
如果您未提供guardContent
欄位,護欄不會評估系統提示訊息。
訊息和系統提示護欄行為
護欄評估guardContent
欄位在系統提示與您傳入訊息的訊息之間的行為不同。
系統提示具有護欄圖塊 | 系統提示沒有護欄圖塊 | |
---|---|---|
訊息有護欄封鎖 |
系統:護欄調查護欄中的內容 訊息:護欄會調查護欄中的內容 |
系統:護欄什麼都不調查 訊息:護欄會調查護欄中的內容 |
訊息沒有護欄封鎖 |
系統:護欄調查護欄中的內容 消息:護欄調查一切 |
系統:護欄什麼都不調查 消息:護欄調查一切 |
處理響應
當您呼叫匡威作業時,護欄會評估您傳送的訊息。如果護欄偵測到封鎖的內容,會發生下列情況。
回應中的
stopReason
欄位設定為guardrail_intervened
。-
如果您啟用追蹤,追蹤可在
trace
(ConverseTrace) 欄位中使用。使用時ConverseStream
,追蹤位於作業傳回的 metadata (ConverseStreamMetadataEvent) 中。 -
在
output
(ConverseOutput) 欄位中傳回您在護欄中設定的封鎖內容文字。封鎖ConverseStream
內容的文字會出現在串流訊息中。
下列部分回應會顯示封鎖的內容文字,以及護欄評估中的追蹤。護欄阻止了消息中的「重金屬」一詞。
{ "output": { "message": { "role": "assistant", "content": [ { "text": "Sorry, I can't answer questions about heavy metal music." } ] } }, "stopReason": "guardrail_intervened", "usage": { "inputTokens": 0, "outputTokens": 0, "totalTokens": 0 }, "metrics": { "latencyMs": 721 }, "trace": { "guardrail": { "inputAssessment": { "3o06191495ze": { "topicPolicy": { "topics": [ { "name": "Heavy metal", "type": "DENY", "action": "BLOCKED" } ] } } } } } }
範例程式碼
此範例顯示如何保護與Converse
和ConverseStream
作業的交談。此範例顯示如何防止模型建立包含重金屬類型歌曲的播放清單。
為了保護對話
-
依照中的指示建立護欄。建立護欄在步驟 6a 中,輸入下列資訊以建立拒絕的主題:
-
名稱 — 輸入重金屬。
-
主題定義 — 輸入避免提及重金屬音樂類型的歌曲。
-
新增範例片語 — 輸入建立重金屬歌曲的播放清單。
在步驟 9 中,輸入以下內容:
-
顯示封鎖提示的訊息 — 輸入抱歉,我無法回答有關重金屬音樂的問題。
-
封鎖回應的訊息 — 輸入抱歉,模型產生了一個提到重金屬音樂的答案。
您可以設定其他護欄選項,但此範例並不需要此選項。
-
-
依照中的指示建立護欄版本。建立和管理護欄版本
-
在下列程式碼範例 (Converse 和 ConverseStream) 中,設定下列變數:
guardrail_id
— 您在步驟 1 中建立的護欄 ID。guardrail_version
— 您在步驟 2 中建立的護欄版本。text
— 使用Create a playlist of heavy metal songs.
-
執行程式碼範例。輸出應該顯示護欄評估和輸出消息。
Text: Sorry, I can't answer questions about heavy metal music.
護欄輸入評估顯示模型在輸入訊息中偵測到「重金屬」一詞。 -
(選擇性) 測試護欄是否封鎖模型產生的不適當文字,方法是
text
將的值變更為 [列出所有類型的搖滾音樂]。 。再次執行範例。您應該會在回應中看到輸出評估。