AI21 LabsJurassic-2Modelle

Dieser Abschnitt enthält Inferenzparameter und ein Codebeispiel für die Verwendung von AI21 Labs AI21 Labs Jurassic-2 Modellen.

Inferenzparameter

Die AI21 Labs Jurassic-2 Modelle unterstützen die folgenden Inferenzparameter.

Themen

• Zufälligkeit und Diversität
• Länge
• Wiederholungen
• Textfeld für die Modellaufrufanforderung
• Textfeld für die Modellaufruf-Antwort

Zufälligkeit und Diversität

Die AI21 Labs Jurassic-2 Modelle unterstützen die folgenden Parameter, um die Zufälligkeit und Diversität der Antwortvariablen zu kontrollieren.

• Temperatur (temperature) – Verwenden Sie einen niedrigeren Wert, um die Zufälligkeit der Antwort zu verringern.

• Top-P (topP) – Verwenden Sie einen niedrigeren Wert, um weniger wahrscheinliche Optionen zu ignorieren.

Länge

Die AI21 Labs Jurassic-2 Modelle unterstützen die folgenden Parameter zur Steuerung der Länge der generierten Antwortvariablen.

• Maximale Vervollständigungslänge (maxTokens) – Geben Sie die maximale Anzahl von Token an, die in der generierten Antwort verwendet werden soll.

• Stoppsequenzen (stopSequences) – Konfigurieren Sie Stoppsequenzen, die das Modell erkennt und nach deren Auftreten es die Generierung weiterer Token beendet. Drücken Sie die Eingabetaste, um ein Zeilenumbruchzeichen in eine Stoppsequenz einzufügen. Verwenden Sie die Tabulatortaste, um das Einfügen einer Stoppsequenz abzuschließen.

Wiederholungen

Die AI21 Labs Jurassic-2 Modelle unterstützen die folgenden Parameter zur Steuerung der Wiederholung in der generierten Antwort.

• Präsenzstrafe (presencePenalty) – Verwenden Sie einen höheren Wert, um die Wahrscheinlichkeit zu verringern, dass neue Token generiert werden, die bereits mindestens einmal in der Eingabeaufforderung oder in der Vervollständigung vorkommen.

• Zählerstrafe (countPenalty) – Verwenden Sie einen höheren Wert, um die Wahrscheinlichkeit zu verringern, dass neue Token generiert werden, die bereits mindestens einmal in der Eingabeaufforderung oder in der Vervollständigung vorkommen. Proportional zur Anzahl der Vorkommen

• Häufigkeitsstrafe (frequencyPenalty) – Verwenden Sie einen hohen Wert, um die Wahrscheinlichkeit zu verringern, dass neue Token generiert werden, die bereits mindestens einmal in der Eingabeaufforderung oder in der Vervollständigung vorkommen. Der Wert ist proportional zur Häufigkeit der Token-Vorkommen (normalisiert auf die Textlänge).

• Strafe für spezielle Token – Verringern Sie die Wahrscheinlichkeit, dass sich Sonderzeichen wiederholen. Die Standard-Werte sind true.

  • Leerzeichen (applyToWhitespaces) – Mit dem Wert true wird die Strafe auf Leerzeichen und Zeilenumbrüche angewendet.

  • Interpunktionen (applyToPunctuation) – Mit dem Wert true wird die Strafe auf Satzzeichen angewendet.

  • Zahlen (applyToNumbers) – Mit dem Wert true wird die Strafe auf Zahlen angewendet.

  • Stoppwörter (applyToStopwords) – Mit dem Wert true wird die Strafe auf Stoppwörter angewendet.

  • Emojis (applyToEmojis) – Mit dem Wert true werden Emojis von der Strafe ausgeschlossen.

Textfeld für die Modellaufrufanforderung

Wenn Sie mithilfe eines AI21 Labs Modells einen InvokeModelInvokeModelWithResponseStreamOder-Aufruf tätigen, füllen Sie das body Feld mit einem JSON-Objekt, das dem unten stehenden entspricht. Geben Sie die Eingabeaufforderung in das Feld prompt ein.

{
    "prompt": string,
    "temperature": float,
    "topP": float,
    "maxTokens": int,
    "stopSequences": [string],
    "countPenalty": {
        "scale": float
    },
    "presencePenalty": {
        "scale": float
    },
    "frequencyPenalty": {
        "scale": float
    }
}

Wenn Sie spezielle Token bestrafen möchten, fügen Sie diese Felder einem beliebigen Strafobjekt hinzu. Sie können das Feld countPenalty beispielsweise wie folgt ändern.

"countPenalty": {
    "scale": float,
    "applyToWhitespaces": boolean,
    "applyToPunctuations": boolean,
    "applyToNumbers": boolean,
    "applyToStopwords": boolean,
    "applyToEmojis": boolean
}

Die folgende Tabelle zeigt die minimalen, maximalen und standardmäßigen Werte für die numerischen Parameter.

Kategorie	Parameter	Format des JSON-Objekts	Minimum	Maximum	Standard
Zufälligkeit und Diversität	Temperatur	temperature	0	1	0.5
	Top-P	topP	0	1	0.5
Länge	Max. Anzahl von Token (Modelle der Größen Mid, Ultra und Large)	maxTokens	0	8.191	200
	Max. Anzahl von Token (andere Modelle)		0	2 048	200
Wiederholungen	Präsenzstrafe	presencePenalty	0	5	0
	Zählerstrafe	countPenalty	0	1	0
	Frequenzstrafe	frequencyPenalty	0	500	0

Textfeld für die Modellaufruf-Antwort

Informationen zum Format des Felds body in der Antwort finden Sie unter https://docs.ai21.com/reference/j2-complete-ref.

Anmerkung

Amazon Bedrock gibt die Antwort-ID (id) als Ganzzahl zurück.

Codebeispiel

Dieses Beispiel zeigt, wie das AI21 LabsJurassic-2 MidA2I-Modell aufgerufen wird.

import boto3
import json

brt = boto3.client(service_name='bedrock-runtime')

body = json.dumps({
    "prompt": "Translate to spanish: 'Amazon Bedrock is the easiest way to build and scale generative AI applications with base models (FMs)'.", 
    "maxTokens": 200,
    "temperature": 0.5,
    "topP": 0.5
})

modelId = 'ai21.j2-mid-v1'
accept = 'application/json'
contentType = 'application/json'

response = brt.invoke_model(
    body=body, 
    modelId=modelId, 
    accept=accept, 
    contentType=contentType
)

response_body = json.loads(response.get('body').read())

# text
print(response_body.get('completions')[0].get('data').get('text'))