AI21 LabsJurassic-2modelli

Questa sezione fornisce i parametri di inferenza e un esempio di codice per l'utilizzo AI21 Labs AI21 Labs Jurassic-2 dei modelli.

Parametri di inferenza

I AI21 Labs Jurassic-2 modelli supportano i seguenti parametri di inferenza.

Argomenti

• Casualità e diversità
• Lunghezza
• Ripetizioni
• Campo del corpo della richiesta per l'invocazione del modello
• Campo del corpo della risposta per l'invocazione del modello

Casualità e diversità

I AI21 Labs Jurassic-2 modelli supportano i seguenti parametri per controllare la casualità e la diversità nella risposta.

• Temperatura (temperature): utilizza un valore più basso per ridurre la casualità nella risposta.

• Top P (topP): utilizza un valore più basso per ignorare le opzioni meno probabili.

Lunghezza

I AI21 Labs Jurassic-2 modelli supportano i seguenti parametri per controllare la lunghezza della risposta generata.

• Lunghezza di completamento massima (maxTokens): specifica il numero massimo di token da utilizzare nella risposta generata.

• Sequenze di arresto (stopSequences): configura le sequenze di arresto che il modello riconosce e dopo le quali smette di generare ulteriori token. Premi il tasto Invio per inserire un carattere di nuova riga in una sequenza di arresto. Utilizza il tasto Tab per completare l'inserimento di una sequenza di arresto.

Ripetizioni

I AI21 Labs Jurassic-2 modelli supportano i seguenti parametri per controllare la ripetizione nella risposta generata.

• Penalità di presenza (presencePenalty): utilizza un valore più alto per ridurre la probabilità di generare nuovi token che compaiono già almeno una volta nel prompt o nel completamento.

• Penalità di conteggio (countPenalty): utilizza un valore più alto per ridurre la probabilità di generare nuovi token che compaiono già almeno una volta nel prompt o nel completamento. Proporzionale al numero di ricorrenze.

• Penalità di frequenza (frequencyPenalty): utilizza un valore più alto per ridurre la probabilità di generare nuovi token che compaiono già almeno una volta nel prompt o nel completamento. Il valore è proporzionale alla frequenza di ricorrenza dei token (normalizzata in base alla lunghezza del testo).

• Penalizza token speciali: riduce la probabilità di ripetere caratteri speciali. I valori predefiniti sono true.

  • Spazi (applyToWhitespaces): un valore true applica la penalità agli spazi bianchi e alle nuove righe.

  • Punteggiatura (applyToPunctuation): un valore true applica la penalità alla punteggiatura.

  • Numeri (applyToNumbers): un valore true applica la penalità ai numeri.

  • Stop word (applyToStopwords): un valore true applica la penalità alle stop word.

  • Emoji (applyToEmojis): un valore true esclude gli emoji dalla penalità.

Campo del corpo della richiesta per l'invocazione del modello

Quando effettui una InvokeModelWithResponseStreamchiamata InvokeModelo utilizzando un AI21 Labs modello, compila il body campo con un oggetto JSON conforme a quello riportato di seguito. Inserisci il prompt nel campo prompt.

{
    "prompt": string,
    "temperature": float,
    "topP": float,
    "maxTokens": int,
    "stopSequences": [string],
    "countPenalty": {
        "scale": float
    },
    "presencePenalty": {
        "scale": float
    },
    "frequencyPenalty": {
        "scale": float
    }
}

Per penalizzare i token speciali, aggiungi i campi a uno qualsiasi degli oggetti di penalità. Ad esempio, puoi modificare il campo countPenalty come segue.

"countPenalty": {
    "scale": float,
    "applyToWhitespaces": boolean,
    "applyToPunctuations": boolean,
    "applyToNumbers": boolean,
    "applyToStopwords": boolean,
    "applyToEmojis": boolean
}

La tabella che segue mostra i valori minimo, massimo e predefinito per i parametri numerici.

Categoria	Parametro	Formato dell'oggetto JSON	Minimo	Massimo	Predefinita
Casualità e diversità	Temperatura	temperature	0	1	0,5
	Top P	topP	0	1	0,5
Lunghezza	Numero massimo di token (modelli medi, ultra e grandi)	maxTokens	0	8.191	200
	Numero massimo di token (altri modelli)		0	2.048	200
Ripetizioni	Penalità di presenza	presencePenalty	0	5	0
	Penalità di conteggio	countPenalty	0	1	0
	Penalità di frequenza	frequencyPenalty	0	500	0

Campo del corpo della risposta per l'invocazione del modello

Per informazioni sul formato del campo body nella risposta, consulta https://docs.ai21.com/reference/j2-complete-ref.

Nota

Amazon Bedrock restituisce l'identificatore di risposta (id) come valore intero.

esempio di codice

Questo esempio mostra come chiamare il modello A2I. AI21 Labs Jurassic-2 Mid

import boto3
import json

brt = boto3.client(service_name='bedrock-runtime')

body = json.dumps({
    "prompt": "Translate to spanish: 'Amazon Bedrock is the easiest way to build and scale generative AI applications with base models (FMs)'.", 
    "maxTokens": 200,
    "temperature": 0.5,
    "topP": 0.5
})

modelId = 'ai21.j2-mid-v1'
accept = 'application/json'
contentType = 'application/json'

response = brt.invoke_model(
    body=body, 
    modelId=modelId, 
    accept=accept, 
    contentType=contentType
)

response_body = json.loads(response.get('body').read())

# text
print(response_body.get('completions')[0].get('data').get('text'))