AI21 LabsJurassic-2 모델

이 섹션에서는 AI21 Labs Jurassic-2 모델을 사용하기 위한 추론 파라미터와 코드 예시를 제공합니다.

추론 파라미터

AI21 Labs Jurassic-2 모델은 다음과 같은 추론 파라미터를 지원합니다.

주제

• 무작위성과 다양성
• 길이
• 반복
• 모델 간접 호출 요청 본문 필드
• 모델 호출 응답 본문 필드

무작위성과 다양성

AI21 Labs Jurassic-2 모델은 다음과 같은 파라미터를 지원하여 응답의 무작위성과 다양성을 제어합니다.

• 온도(temperature) - 낮은 값을 사용하면 응답의 무작위성을 줄일 수 있습니다.

• Top P(topP) - 낮은 값을 사용하면 확률이 낮은 옵션을 무시할 수 있습니다.

길이

AI21 Labs Jurassic-2 모델은 다음과 같은 파라미터를 지원하여 생성된 응답의 길이를 제어합니다.

• 최대 완료 길이(maxTokens) - 생성된 응답에서 사용할 최대 토큰 수를 지정합니다.

• 중지 시퀀스(stopSequences) - 모델이 인식한 후 추가 토큰 생성을 중지하는 중지 시퀀스를 구성합니다. Enter 키를 눌러 중지 시퀀스에 줄 바꿈 문자를 삽입합니다. Tab 키를 사용하여 중지 시퀀스 삽입을 완료합니다.

반복

AI21 Labs Jurassic-2 모델은 다음과 같은 파라미터를 지원하여 생성된 응답의 반복을 제어합니다.

• 존재 페널티(presencePenalty) - 높은 값을 사용하면 프롬프트에서 또는 완료 시 이미 한 번 이상 나타난 새 토큰이 생성될 확률을 낮출 수 있습니다.

• 개수 페널티(countPenalty) - 높은 값을 사용하면 프롬프트에서 또는 완료 시 이미 한 번 이상 나타난 새 토큰이 생성될 확률을 낮출 수 있습니다. 출현 횟수에 비례합니다.

• 빈도 페널티(frequencyPenalty) - 높은 값을 사용하면 프롬프트에서 또는 완료 시 이미 한 번 이상 나타난 새 토큰이 생성될 확률을 낮출 수 있습니다. 값은 토큰 출현 빈도(텍스트 길이로 정규화됨)에 비례합니다.

• 특수 토큰에 페널티 적용 - 특수 문자가 반복될 확률을 줄입니다. 기본값은 true입니다.

  • 공백(applyToWhitespaces) - true 값을 선택하면 공백과 새 줄에 페널티가 적용됩니다.

  • 구두점(applyToPunctuation) - true 값을 선택하면 구두점에 페널티가 적용됩니다.

  • 숫자(applyToNumbers) - true 값을 선택하면 숫자에 페널티가 적용됩니다.

  • 정지 단어(applyToStopwords) - true 값을 선택하면 정지 단어에 페널티가 적용됩니다.

  • 이모티콘(applyToEmojis) - true 값을 선택하면 페널티에서 이모티콘이 제외됩니다.

모델 간접 호출 요청 본문 필드

AI21 Labs 모델을 사용하여 InvokeModel 또는 InvokeModelWithResponseStream 직접 호출을 수행할 경우, 아래 항목을 준수하는 JSON 객체로 body 필드를 채웁니다. prompt 필드에 프롬프트를 입력합니다.

{
    "prompt": string,
    "temperature": float,
    "topP": float,
    "maxTokens": int,
    "stopSequences": [string],
    "countPenalty": {
        "scale": float
    },
    "presencePenalty": {
        "scale": float
    },
    "frequencyPenalty": {
        "scale": float
    }
}

특수 토큰에 페널티를 적용하려면 해당 필드를 페널티 객체 중 하나에 추가합니다. 예를 들어, 다음과 같이 countPenalty 필드를 수정할 수 있습니다.

"countPenalty": {
    "scale": float,
    "applyToWhitespaces": boolean,
    "applyToPunctuations": boolean,
    "applyToNumbers": boolean,
    "applyToStopwords": boolean,
    "applyToEmojis": boolean
}

아래 표에는 숫자 파라미터의 최소값, 최대값, 기본값이 나와 있습니다.

범주	파라미터	JSON 객체 형식	최소	Maximum	기본값
무작위성과 다양성	온도	temperature	0	1	0.5
	Top P	topP	0	1	0.5
길이	최대 토큰 수(mid, ultra, large 모델)	maxTokens	0	8,191	200
	최대 토큰 수(기타 모델)		0	2,048	200
반복	존재 페널티	presencePenalty	0	5	0
	개수 페널티	countPenalty	0	1	0
	빈도 페널티	frequencyPenalty	0	500	0

모델 호출 응답 본문 필드

응답에 있는 body 필드의 형식에 대한 내용은 https://docs.ai21.com/reference/j2-complete-ref를 참조하세요.

참고

Amazon Bedrock은 응답 식별자(id)를 정수 값으로 반환합니다.

코드 예제

이 예제는 A2I AI21 Labs Jurassic-2 Mid 모델을 직접 호출하는 방법을 보여줍니다.

import boto3
import json

brt = boto3.client(service_name='bedrock-runtime')

body = json.dumps({
    "prompt": "Translate to spanish: 'Amazon Bedrock is the easiest way to build and scale generative AI applications with base models (FMs)'.", 
    "maxTokens": 200,
    "temperature": 0.5,
    "topP": 0.5
})

modelId = 'ai21.j2-mid-v1'
accept = 'application/json'
contentType = 'application/json'

response = brt.invoke_model(
    body=body, 
    modelId=modelId, 
    accept=accept, 
    contentType=contentType
)

response_body = json.loads(response.get('body').read())

# text
print(response_body.get('completions')[0].get('data').get('text'))