AI21 LabsJurassic-2모델

이 섹션에서는 AI21 Labs AI21 Labs Jurassic-2 모델 사용에 대한 추론 파라미터와 코드 예제를 제공합니다.

추론 파라미터

AI21 LabsJurassic-2모델은 다음과 같은 추론 파라미터를 지원합니다.

주제

• 무작위성과 다양성
• 길이
• 반복
• 모델 간접 호출 요청 본문 필드
• 모델 호출 응답 본문 필드

무작위성과 다양성

AI21 LabsJurassic-2모델은 반응의 임의성과 다양성을 제어하기 위해 다음 매개변수를 지원합니다.

• 온도(temperature) - 낮은 값을 사용하면 응답의 무작위성을 줄일 수 있습니다.

• Top P(topP) - 낮은 값을 사용하면 확률이 낮은 옵션을 무시할 수 있습니다.

길이

AI21 LabsJurassic-2모델은 다음과 같은 매개변수를 지원하여 생성된 응답의 길이를 제어합니다.

• 최대 완료 길이(maxTokens) - 생성된 응답에서 사용할 최대 토큰 수를 지정합니다.

• 중지 시퀀스(stopSequences) - 모델이 인식한 후 추가 토큰 생성을 중지하는 중지 시퀀스를 구성합니다. Enter 키를 눌러 중지 시퀀스에 줄 바꿈 문자를 삽입합니다. Tab 키를 사용하여 중지 시퀀스 삽입을 완료합니다.

반복

AI21 LabsJurassic-2모델은 생성된 응답의 반복을 제어하기 위해 다음 매개변수를 지원합니다.

• 존재 페널티(presencePenalty) - 높은 값을 사용하면 프롬프트에서 또는 완료 시 이미 한 번 이상 나타난 새 토큰이 생성될 확률을 낮출 수 있습니다.

• 개수 페널티(countPenalty) - 높은 값을 사용하면 프롬프트에서 또는 완료 시 이미 한 번 이상 나타난 새 토큰이 생성될 확률을 낮출 수 있습니다. 출현 횟수에 비례합니다.

• 빈도 페널티(frequencyPenalty) - 높은 값을 사용하면 프롬프트에서 또는 완료 시 이미 한 번 이상 나타난 새 토큰이 생성될 확률을 낮출 수 있습니다. 값은 토큰 출현 빈도(텍스트 길이로 정규화됨)에 비례합니다.

• 특수 토큰에 페널티 적용 - 특수 문자가 반복될 확률을 줄입니다. 기본값은 true입니다.

  • 공백(applyToWhitespaces) - true 값을 선택하면 공백과 새 줄에 페널티가 적용됩니다.

  • 구두점(applyToPunctuation) - true 값을 선택하면 구두점에 페널티가 적용됩니다.

  • 숫자(applyToNumbers) - true 값을 선택하면 숫자에 페널티가 적용됩니다.

  • 정지 단어(applyToStopwords) - true 값을 선택하면 정지 단어에 페널티가 적용됩니다.

  • 이모티콘(applyToEmojis) - true 값을 선택하면 페널티에서 이모티콘이 제외됩니다.

모델 간접 호출 요청 본문 필드

AI21 Labs모델을 사용하여 InvokeModel또는 InvokeModelWithResponseStream호출을 할 때는 아래 항목을 준수하는 JSON 객체로 body 필드를 채우십시오. prompt 필드에 프롬프트를 입력합니다.

{
    "prompt": string,
    "temperature": float,
    "topP": float,
    "maxTokens": int,
    "stopSequences": [string],
    "countPenalty": {
        "scale": float
    },
    "presencePenalty": {
        "scale": float
    },
    "frequencyPenalty": {
        "scale": float
    }
}

특수 토큰에 페널티를 적용하려면 해당 필드를 페널티 객체 중 하나에 추가합니다. 예를 들어, 다음과 같이 countPenalty 필드를 수정할 수 있습니다.

"countPenalty": {
    "scale": float,
    "applyToWhitespaces": boolean,
    "applyToPunctuations": boolean,
    "applyToNumbers": boolean,
    "applyToStopwords": boolean,
    "applyToEmojis": boolean
}

아래 표에는 숫자 파라미터의 최소값, 최대값, 기본값이 나와 있습니다.

범주	파라미터	JSON 객체 형식	최소	Maximum	기본값
무작위성과 다양성	온도	temperature	0	1	0.5
	Top P	topP	0	1	0.5
길이	최대 토큰 수(mid, ultra, large 모델)	maxTokens	0	8,191	200
	최대 토큰 수(기타 모델)		0	2,048	200
반복	존재 페널티	presencePenalty	0	5	0
	개수 페널티	countPenalty	0	1	0
	빈도 페널티	frequencyPenalty	0	500	0

모델 호출 응답 본문 필드

응답에 있는 body 필드의 형식에 대한 내용은 https://docs.ai21.com/reference/j2-complete-ref를 참조하세요.

참고

Amazon Bedrock은 응답 식별자 (id) 를 정수 값으로 반환합니다.

코드 예제

이 예제는 A2I 모델을 호출하는 방법을 보여줍니다. AI21 Labs Jurassic-2 Mid

import boto3
import json

brt = boto3.client(service_name='bedrock-runtime')

body = json.dumps({
    "prompt": "Translate to spanish: 'Amazon Bedrock is the easiest way to build and scale generative AI applications with base models (FMs)'.", 
    "maxTokens": 200,
    "temperature": 0.5,
    "topP": 0.5
})

modelId = 'ai21.j2-mid-v1'
accept = 'application/json'
contentType = 'application/json'

response = brt.invoke_model(
    body=body, 
    modelId=modelId, 
    accept=accept, 
    contentType=contentType
)

response_body = json.loads(response.get('body').read())

# text
print(response_body.get('completions')[0].get('data').get('text'))