Mistral AIAbschluss des Chats

Mit der API zur Mistral AI Chat-Vervollständigung können Konversationsanwendungen erstellt werden.

Tipp

Sie können die Mistral AI Chat-Abschluss-API mit den grundlegenden Inferenzoperationen (InvokeModeloder InvokeModelWithResponseStream) verwenden. Wir empfehlen jedoch, die Converse-API zu verwenden, um Nachrichten in Ihrer Anwendung zu implementieren. Die Converse-API bietet einen einheitlichen Satz von Parametern, die für alle Modelle funktionieren, die Nachrichten unterstützen. Weitere Informationen finden Sie unter Führen Sie ein Gespräch mit den Converse-Betrieben API.

Mistral AIModelle sind unter der Apache 2.0-Lizenz erhältlich. Weitere Informationen zur Verwendung von Mistral AI Modellen finden Sie in der Mistral AIDokumentation.

Unterstützte Modelle

Sie können die folgenden Mistral AI Modelle verwenden.

• Mistral Large

Sie benötigen die Modell-ID für das Modell, das Sie verwenden möchten. Informationen zur Modell-ID finden Sie unterModell Amazon Bedrock IDs.

Anforderung und Antwort

Request

Die Mistral AI Modelle haben die folgenden Inferenzparameter.

{
    "messages": [
        {
            "role": "system"|"user"|"assistant",
            "content": str
        },
        {
            "role": "assistant",
            "content": "",
            "tool_calls": [
                {
                    "id": str,
                    "function": {
                        "name": str,
                        "arguments": str
                    }
                }
            ]
        },
        {
            "role": "tool",
            "tool_call_id": str,
            "content": str
        }
    ],
    "tools": [
        {
            "type": "function",
            "function": {
                "name": str,
                "description": str,
                "parameters": dict
            }
        }
    ],
    "tool_choice": "auto"|"any"|"none",
    "max_tokens": int,
    "top_p": float,
    "temperature": float
}

Die folgenden Parameter sind erforderlich.

• messages — (Erforderlich) Die Nachrichten, die Sie an das Modell übergeben möchten.

  • Rolle — Die Rolle für die Nachricht. Gültige Werte für sind:

    • System — Legt das Verhalten und den Kontext für das Modell in der Konversation fest.

    • user — Die Benutzernachricht, die an das Modell gesendet werden soll.

    • assistant — Die Antwort des Modells.

  • Inhalt — Der Inhalt der Nachricht.

  [
      {
          "role": "user",
          "content": "What is the most popular song on WZPZ?"
      }
  ]

  Verwenden Sie JSON mit den folgenden Feldern, um ein Werkzeugergebnis zu übergeben.

  • role — Die Rolle für die Nachricht. Der Wert muss seintool.

  • tool_call_id — Die ID der Werkzeuganforderung. Sie erhalten die ID aus den tool_calls Feldern in der Antwort der vorherigen Anfrage.

  • Inhalt — Das Ergebnis des Tools.

  Das folgende Beispiel ist das Ergebnis eines Tools, das den beliebtesten Song eines Radiosenders ermittelt.

  {
      "role": "tool",
      "tool_call_id": "v6RMMiRlT7ygYkT4uULjtg",
      "content": "{\"song\": \"Elemental Hotel\", \"artist\": \"8 Storey Hike\"}"
  }

Die folgenden Parameter sind optional.

• Werkzeuge — Definitionen von Werkzeugen, die das Modell verwenden kann.

  Wenn Sie tools in Ihrer Anfrage angeben, gibt das Modell möglicherweise ein tool_calls Feld in der Nachricht zurück, das die Verwendung dieser Tools durch das Modell darstellt. Sie können diese Werkzeuge dann mit der vom Modell generierten Werkzeugeingabe ausführen und anschließend optional Ergebnisse mithilfe von tool_result Inhaltsblöcken an das Modell zurückgeben.

  Das folgende Beispiel bezieht sich auf ein Tool, das die beliebtesten Songs eines Radiosenders abruft.

  [
      {
          "type": "function",
          "function": {
              "name": "top_song",
              "description": "Get the most popular song played on a radio station.",
              "parameters": {
                  "type": "object",
                  "properties": {
                      "sign": {
                          "type": "string",
                          "description": "The call sign for the radio station for which you want the most popular song. Example calls signs are WZPZ and WKRP."
                      }
                  },
                  "required": [
                      "sign"
                  ]
              }
          }
      }
  ]

• tool_choice — Gibt an, wie Funktionen aufgerufen werden. Wenn diese Option aktiviert none ist, ruft das Modell keine Funktion auf und generiert stattdessen eine Meldung. Wenn diese Option aktiviert ist, kann auto das Modell wählen, ob entweder eine Nachricht generiert oder eine Funktion aufgerufen werden soll. Wenn diese Option aktiviert ist, wird any das Modell gezwungen, eine Funktion aufzurufen.

• max_tokens — Geben Sie die maximale Anzahl von Tokens an, die in der generierten Antwort verwendet werden sollen. Das Modell kürzt die Antwort, sobald der generierte Text den Wert max_tokens überschreitet.

  Standard	Minimum	Maximum
  Mistral Large— 8.192	1	Mistral Large— 8.192

• Temperatur — Steuert die Zufälligkeit der vom Modell getroffenen Vorhersagen. Weitere Informationen finden Sie unter Beeinflussen Sie die Antwortgenerierung mit Inferenzparametern.

  Standard	Minimum	Maximum
  Mistral Large— 0,7	0	1

• top_p — Steuert die Textvielfalt, die das Modell generiert, indem der Prozentsatz der wahrscheinlichsten Kandidaten festgelegt wird, die das Modell für das nächste Token berücksichtigt. Weitere Informationen finden Sie unter Beeinflussen Sie die Antwortgenerierung mit Inferenzparametern.

  Standard	Minimum	Maximum
  Mistral Large— 1	0	1

Response

Die body-Antwort eines Aufrufs von InvokeModel lautet wie folgt:

{
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": str,
                "tool_calls": [...]
            },
            "stop_reason": "stop"|"length"|"tool_calls"
        }
    ]
}
                    
                

Die body-Antwort enthält folgende mögliche Felder:

• choices — Die Ausgabe des Modells. Felder.

  • index — Der Index für die Nachricht.

  • message — Die Nachricht des Modells.

    • Rolle — Die Rolle der Nachricht.

    • Inhalt — Der Inhalt der Nachricht.

    • tool_calls — Wenn der Wert von stop_reason isttool_calls, enthält dieses Feld eine Liste von Werkzeuganforderungen, die Sie nach dem Modell ausführen sollen.

      • id — Die ID für die Werkzeuganforderung.

      • function — Die Funktion, die das Modell anfordert.

        • name — Der Name der Funktion.

        • arguments — Die Argumente, die an das Tool übergeben werden sollen

      Im Folgenden finden Sie ein Beispiel für eine Anfrage für ein Tool, das den Top-Song eines Radiosenders ermittelt.

      [
                          {
                              "id": "v6RMMiRlT7ygYkT4uULjtg",
                              "function": {
                                  "name": "top_song",
                                  "arguments": "{\"sign\": \"WZPZ\"}"
                              }
                          }
                      ]

  • stop_reason — Der Grund, warum die Antwort keinen Text mehr generiert hat. Die möglichen Werte sind:

    • Stopp – Das Modell hat die Textgenerierung für die Eingabeaufforderung abgeschlossen. Das Modell wird beendet, weil kein Inhalt mehr generiert werden muss oder wenn das Modell eine der Stoppsequenzen generiert, die Sie im stop Anforderungsparameter definieren.

    • Länge — Die Länge der Token für den generierten Text überschreitet den Wert vonmax_tokens. Die Antwort wird auf max_tokens Token gekürzt.

    • tool_calls — Das Modell fordert Sie auf, ein Tool auszuführen.