Mistral AIcompletamento della chat

L'API di completamento della Mistral AI chat consente di creare applicazioni conversazionali.

Suggerimento

Puoi utilizzare l'API di completamento della Mistral AI chat con le operazioni di inferenza di base (InvokeModelo InvokeModel WithResponse Stream). Tuttavia, ti consigliamo di utilizzare l'API Converse per implementare i messaggi nella tua applicazione. L'API Converse fornisce un set unificato di parametri che funzionano su tutti i modelli che supportano i messaggi. Per ulteriori informazioni, consulta Usa l'API Converse.

Mistral AIi modelli sono disponibili con la licenza Apache 2.0. Per ulteriori informazioni sull'uso dei Mistral AI modelli, consulta la Mistral AIdocumentazione.

Modelli supportati

È possibile utilizzare i seguenti Mistral AI modelli.

• Mistral Large

È necessario l'ID modello per il modello che desideri utilizzare. Per ottenere l'ID del modello, consultaID dei modelli Amazon Bedrock.

Richiesta e risposta

Request

I Mistral AI modelli hanno i seguenti parametri di inferenza.

{
    "messages": [
        {
            "role": "system"|"user"|"assistant",
            "content": str
        },
        {
            "role": "assistant",
            "content": "",
            "tool_calls": [
                {
                    "id": str,
                    "function": {
                        "name": str,
                        "arguments": str
                    }
                }
            ]
        },
        {
            "role": "tool",
            "tool_call_id": str,
            "content": str
        }
    ],
    "tools": [
        {
            "type": "function",
            "function": {
                "name": str,
                "description": str,
                "parameters": dict
            }
        }
    ],
    "tool_choice": "auto"|"any"|"none",
    "max_tokens": int,
    "top_p": float,
    "temperature": float
}

I seguenti sono parametri obbligatori.

• messages — (Obbligatorio) I messaggi che desiderate passare al modello.

  • role — Il ruolo del messaggio. I valori validi sono:

    • system: imposta il comportamento e il contesto del modello nella conversazione.

    • user — Il messaggio utente da inviare al modello.

    • assistant — La risposta del modello.

  • content: il contenuto del messaggio.

  [
      {
          "role": "user",
          "content": "What is the most popular song on WZPZ?"
      }
  ]

  Per passare il risultato di uno strumento, utilizzate JSON con i seguenti campi.

  • role — Il ruolo del messaggio. Il valore deve esseretool.

  • tool_call_id — L'ID della richiesta dello strumento. L'ID viene ottenuto dai tool_calls campi della risposta alla richiesta precedente.

  • content: il risultato dello strumento.

  L'esempio seguente è il risultato di uno strumento che ottiene la canzone più popolare su una stazione radio.

  {
      "role": "tool",
      "tool_call_id": "v6RMMiRlT7ygYkT4uULjtg",
      "content": "{\"song\": \"Elemental Hotel\", \"artist\": \"8 Storey Hike\"}"
  }

I seguenti sono parametri opzionali.

• strumenti — Definizioni degli strumenti che il modello può utilizzare.

  Se lo includi tools nella richiesta, il modello potrebbe restituire un tool_calls campo nel messaggio che rappresenta l'uso di tali strumenti da parte del modello. È quindi possibile eseguire tali strumenti utilizzando l'input generato dallo strumento e quindi, facoltativamente, restituire i risultati al modello utilizzando blocchi di tool_result contenuto.

  L'esempio seguente riguarda uno strumento che riceve le canzoni più popolari su una stazione radio.

  [
      {
          "type": "function",
          "function": {
              "name": "top_song",
              "description": "Get the most popular song played on a radio station.",
              "parameters": {
                  "type": "object",
                  "properties": {
                      "sign": {
                          "type": "string",
                          "description": "The call sign for the radio station for which you want the most popular song. Example calls signs are WZPZ and WKRP."
                      }
                  },
                  "required": [
                      "sign"
                  ]
              }
          }
      }
  ]

• tool_choice — Specifica come vengono chiamate le funzioni. Se impostato none sul modello non chiamerà una funzione e genererà invece un messaggio. Se impostato auto sul modello, puoi scegliere di generare un messaggio o chiamare una funzione. Se impostato any sul modello è forzato a chiamare una funzione.

• max_tokens — Specificate il numero massimo di token da utilizzare nella risposta generata. Il modello tronca la risposta se il testo generato supera max_tokens.

  Predefinita	Minimo	Massimo
  Mistral Large— 8.192	1	Mistral Large— 8.192

• temperatura: controlla la casualità delle previsioni fatte dal modello. Per ulteriori informazioni, consulta Parametri di inferenza.

  Predefinita	Minimo	Massimo
  Mistral Large— 0,7	0	1

• top_p — Controlla la diversità del testo generato dal modello impostando la percentuale di candidati più probabili che il modello considera per il token successivo. Per ulteriori informazioni, consulta Parametri di inferenza.

  Predefinita	Minimo	Massimo
  Mistral Large— 1	0	1

Response

Di seguito è riportata la risposta body da una chiamata InvokeModel.

{
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": str,
                "tool_calls": [...]
            },
            "stop_reason": "stop"|"length"|"tool_calls"
        }
    ]
}
                    
                

La risposta body ha i seguenti campi possibili:

• choices — L'output del modello. campi.

  • index — L'indice del messaggio.

  • message — Il messaggio del modello.

    • role — Il ruolo del messaggio.

    • content: il contenuto del messaggio.

    • tool_calls — Se il valore di stop_reason ètool_calls, questo campo contiene un elenco di richieste di strumenti che il modello vuole che tu esegua.

      • id — L'ID per la richiesta dello strumento.

      • function — La funzione richiesta dal modello.

        • name — Il nome della funzione.

        • arguments — Gli argomenti da passare allo strumento

      Di seguito è riportato un esempio di richiesta di uno strumento che ottiene la migliore canzone di una stazione radio.

      [
                          {
                              "id": "v6RMMiRlT7ygYkT4uULjtg",
                              "function": {
                                  "name": "top_song",
                                  "arguments": "{\"sign\": \"WZPZ\"}"
                              }
                          }
                      ]

  • stop_reason — Il motivo per cui la risposta ha smesso di generare testo. I valori possibili sono:

    • stop: il modello ha terminato la generazione del testo per il prompt di input. Il modello si interrompe perché non ha più contenuti da generare o se genera una delle sequenze di interruzioni definite nel stop parametro di richiesta.

    • lunghezza — La lunghezza dei token per il testo generato supera il valore di. max_tokens La risposta viene troncata in base al valore max_tokens specificato per i token.

    • tool_calls — Il modello richiede l'esecuzione di uno strumento.