AI21 LabsJurassic-2 モデル

このセクションでは、AI21 LabsAI21 LabsJurassic-2モデルを使用するための推論パラメータとコード例を示します。

推論パラメータ

AI21 Labs Jurassic-2 モデルでは、次の推論パラメータがサポートされています。

トピック

• ランダム性と多様性
• 長さ
• 繰り返し
• モデル呼び出しリクエストの body フィールド
• モデル呼び出しレスポンスの body フィールド

ランダム性と多様性

AI21 Labs Jurassic-2 モデルは、レスポンスのランダム性と多様性を制御するために以下のパラメータをサポートしています。

• 温度 (temperature) - 低い値を指定すると、レスポンスのランダム性を減らすことができます。

• トップ P (topP) - 低い値を指定すると、可能性の低い選択肢を無視することができます。

長さ

AI21 Labs Jurassic-2 モデルは、生成されたレスポンスの長さを制御するために以下のパラメータをサポートします。

• 最大入力長 (maxTokens) - 生成されるレスポンスで使用されるトークンの最大数を指定します。

• ストップシーケンス (stopSequences) - モデルに認識させて、それ以降はトークンの生成を停止させるストップシーケンスを設定します。ストップシーケンスに改行文字を挿入するには、Enter キーを押します。ストップシーケンスの挿入を終了するには、Tab キーを使用します。

繰り返し

AI21 Labs Jurassic-2 モデルは、生成されたレスポンスの繰り返しを制御するために、次のパラメータをサポートします。

• プレゼンスのペナルティ (presencePenalty) - 高い値を指定すると、プロンプトまたは入力内容に既に少なくとも 1 回出現しているトークンが新規に生成される可能性が低くなります。

• カウントのペナルティ (countPenalty) - 高い値を指定すると、プロンプトまたは入力内容に既に少なくとも 1 回出現しているトークンが新規に生成される可能性が低くなります。この値は、出現回数に比例します。

• 頻度のペナルティ (frequencyPenalty) - 高い値を指定すると、プロンプトまたは完了時にすでに 1 回以上出現する新しいトークンが生成される可能性が低くなります。この値は、トークンの出現頻度に比例します (テキストの長さに合わせて正規化されます)。

• 特殊トークンにペナルティを課す - 特殊文字が繰り返し使用される可能性を減らします。デフォルト値は true です。

  • 空白 (applyToWhitespaces) - true の値を指定すると、空白や改行にペナルティが課されます。

  • 句読点 (applyToPunctuation) - true の値を指定すると、句読点にペナルティが課されます。

  • 数字 (applyToNumbers) - true の値を指定すると、数字にペナルティが課されます。

  • ストップワード (applyToStopwords) - true の値を指定すると、ストップワードにペナルティが課されます。

  • 絵文字 (applyToEmojis) - true の値を指定すると、絵文字がペナルティの対象から除外されます。

モデル呼び出しリクエストの body フィールド

AI21 Labs モデルを使用して InvokeModelまたは をInvokeModelWithResponseStream呼び出す場合は、以下の JSON オブジェクトを bodyフィールドに入力します。[prompt] フィールドにプロンプトを入力します。

{
    "prompt": string,
    "temperature": float,
    "topP": float,
    "maxTokens": int,
    "stopSequences": [string],
    "countPenalty": {
        "scale": float
    },
    "presencePenalty": {
        "scale": float
    },
    "frequencyPenalty": {
        "scale": float
    }
}

特殊なトークンにペナルティを課すには、それらのフィールドをペナルティオブジェクトに追加します。例えば、countPenalty フィールドを次のように変更できます。

"countPenalty": {
    "scale": float,
    "applyToWhitespaces": boolean,
    "applyToPunctuations": boolean,
    "applyToNumbers": boolean,
    "applyToStopwords": boolean,
    "applyToEmojis": boolean
}

次の表は、数値パラメータの最小値、最大値、およびデフォルト値を示しています。

カテゴリ	パラメータ	JSON 形式のオブジェクト	最小値	最大値	デフォルト値
ランダム性と多様性	温度	temperature	0	1	0.5
	トップ P	topP	0	1	0.5
長さ	最大トークン (中規模、超大規模、および大規模モデル)	maxTokens	0	8,191	200
	最大トークン (上記以外のモデル)		0	2,048	200
繰り返し	プレゼンスのペナルティ	presencePenalty	0	5	0
	カウントのペナルティ	countPenalty	0	1	0
	頻度のペナルティ	frequencyPenalty	0	500	0

モデル呼び出しレスポンスの body フィールド

レスポンス内の フィールドの形式については、bodyhttps://docs.ai21.com/reference/j2-complete-ref を参照してください。

注記

Amazon Bedrock は、レスポンス識別子 (id) を整数値として返します。

コード例

この例では、AA2IAI21 LabsJurassic-2 Midモデルを呼び出す方法を示します。

import boto3
import json

brt = boto3.client(service_name='bedrock-runtime')

body = json.dumps({
    "prompt": "Translate to spanish: 'Amazon Bedrock is the easiest way to build and scale generative AI applications with base models (FMs)'.", 
    "maxTokens": 200,
    "temperature": 0.5,
    "topP": 0.5
})

modelId = 'ai21.j2-mid-v1'
accept = 'application/json'
contentType = 'application/json'

response = brt.invoke_model(
    body=body, 
    modelId=modelId, 
    accept=accept, 
    contentType=contentType
)

response_body = json.loads(response.get('body').read())

# text
print(response_body.get('completions')[0].get('data').get('text'))