推論參數

推論參數是您可以調整以限制或影響模型回應的值。以下的參數類別通常可在不同的模型中找到。

隨機性和多樣性

對於任何指定的序列，模型可決定序列中下一個字符選項的機率分佈。為了在輸出中產生每個字符，模型會從此分佈中進行取樣。隨機性和多樣性是指模型回應中的變體數量。您可以透過限制或調整分佈來控制這些係數。基礎模型通常支援以下參數來控制回應中的隨機性和多樣性。

• 溫度 — 影響預測輸出的機率分佈形狀，並影響模型選擇較低機率輸出的可能性。

  • 選擇較低的值來影響模型，以選擇較高機率的輸出。

  • 選擇較高的值來影響模型，以選取較低機率的輸出。

  用技術性名詞來說，溫度會調節下一個字符的機率質量函數。較低的溫度會使函數變得陡峭，並導致更具確定性的回應，而較高的溫度會使函數變得平坦，並導致更隨機的回應。

• Top K - 模型考慮下一個字符最有可能的候選項數量。

  • 選擇較低的值以縮減集區的大小，並將選項限制為更可能的輸出。

  • 選擇較高的值以增加集區的大小，並允許模型考慮較不可能的輸出。

  例如，若為 Top K 選擇值 50，則模型會從 50 個最有可能成為序列中下一個的字符中做選擇。

• Top P - 模型考慮下一個字符最有可能的候選項百分比。

  • 選擇較低的值以縮減集區的大小，並將選項限制為更可能的輸出。

  • 選擇較高的值以增加集區的大小，並允許模型考慮較不可能的輸出。

  用技術性名詞來說，該模型會運算回應集的累積機率分佈，並僅考慮分佈的前 P%。

  例如，若您為 Top P 選擇值 0.8，則模型會從可能是序列中下一個字符的機率分佈的前 80% 中做選擇。

下表摘要說明這些參數的功用。

參數	較低值的影響	較高值的影響
溫度	增加高機率字符的可能性 減少低機率字符的可能性	增加低機率字符的可能性 減少高機率字符的可能性
Top K	移除低機率的字符	允許低機率的字符
Top P	移除低機率的字符	允許低機率的字符

做為用於了解這些參數的範例，請考慮範例提示 I hear the hoof beats of "。假設模型確定以下三個單字當做下一個字符的候選項。該模型也會為每個單字指派機率。

{
    "horses": 0.7,
    "zebras": 0.2,
    "unicorns": 0.1
}

• 如果設定較高的溫度，則機率分佈較平坦，機率差異會減小，這會增加選擇「獨角獸」的機率，並降低選擇「馬」的機率。

• 如果將 Top K 設為 2，則模型僅考慮前 2 名最有可能的候選項：「馬」和「斑馬」。

• 如果將 Top P 設置為 0.7，則模型僅考慮「馬」，因為它是唯一位於概率分佈前 70％ 的候選人。如果將頂部 P 設置為 0.9，則模型將「馬」和「斑馬」視為它們位於概率分佈的前 90％。

長度

基礎模型通常會支援限制回應長度的參數。下方提供這些參數的範例。

• 回應長度 — 用於指定在產生的回應中傳回的最小或最大字符數目的精確值。

• 懲罰 — 指定在回應中對輸出進行懲罰的程度。範例如下。

  • 回應的長度。

  • 回應中的重複字符。

  • 回應中字符的頻率。

  • 回應中字符的類型。

• 停止序列 — 指定模型停止產生其他字符的字元序列。如果模型產生您指定的停止序列，它會在該序列之後停止產生。