Mistral AIconclusão do bate-papo

A API de conclusão de Mistral AI bate-papo permite criar aplicativos de conversação.

dica

Você pode usar a API de conclusão de Mistral AI bate-papo com as operações básicas de inferência (InvokeModelou InvokeModelWithResponseStream). No entanto, recomendamos que você use a API Converse para implementar mensagens em seu aplicativo. A API Converse fornece um conjunto unificado de parâmetros que funcionam em todos os modelos que oferecem suporte a mensagens. Para ter mais informações, consulte Use a API Converse.

Mistral AIos modelos estão disponíveis sob a licença Apache 2.0. Para obter mais informações sobre o uso de Mistral AI modelos, consulte a Mistral AIdocumentação.

Modelos compatíveis

Você pode usar os seguintes Mistral AI modelos.

• Mistral Large

É necessário o ID do modelo que deseja usar. Para obter o ID do modelo, consulteIDs de modelo Amazon Bedrock.

Solicitação e reposta

Request

Os Mistral AI modelos têm os seguintes parâmetros de inferência.

{
    "messages": [
        {
            "role": "system"|"user"|"assistant",
            "content": str
        },
        {
            "role": "assistant",
            "content": "",
            "tool_calls": [
                {
                    "id": str,
                    "function": {
                        "name": str,
                        "arguments": str
                    }
                }
            ]
        },
        {
            "role": "tool",
            "tool_call_id": str,
            "content": str
        }
    ],
    "tools": [
        {
            "type": "function",
            "function": {
                "name": str,
                "description": str,
                "parameters": dict
            }
        }
    ],
    "tool_choice": "auto"|"any"|"none",
    "max_tokens": int,
    "top_p": float,
    "temperature": float
}

Veja a seguir os parâmetros necessários.

• messages — (Obrigatório) As mensagens que você deseja passar para o modelo.

  • função — A função da mensagem. Os valores válidos são:

    • sistema — Define o comportamento e o contexto do modelo na conversa.

    • user — A mensagem do usuário a ser enviada ao modelo.

    • assistente — A resposta do modelo.

  • conteúdo — O conteúdo da mensagem.

  [
      {
          "role": "user",
          "content": "What is the most popular song on WZPZ?"
      }
  ]

  Para transmitir o resultado de uma ferramenta, use JSON com os campos a seguir.

  • função — A função da mensagem. O valor deve ser tool.

  • tool_call_id — O ID da solicitação da ferramenta. Você obtém o ID dos tool_calls campos na resposta da solicitação anterior.

  • conteúdo — O resultado da ferramenta.

  O exemplo a seguir é o resultado de uma ferramenta que obtém a música mais popular em uma estação de rádio.

  {
      "role": "tool",
      "tool_call_id": "v6RMMiRlT7ygYkT4uULjtg",
      "content": "{\"song\": \"Elemental Hotel\", \"artist\": \"8 Storey Hike\"}"
  }

Veja a seguir os parâmetros opcionais.

• ferramentas — Definições das ferramentas que o modelo pode usar.

  Se você incluir tools em sua solicitação, o modelo poderá retornar um tool_calls campo na mensagem que represente o uso dessas ferramentas pelo modelo. Em seguida, você pode executar essas ferramentas usando a entrada de ferramenta gerada pelo modelo e, opcionalmente, retornar os resultados ao modelo usando blocos de tool_result conteúdo.

  O exemplo a seguir é para uma ferramenta que obtém as músicas mais populares em uma estação de rádio.

  [
      {
          "type": "function",
          "function": {
              "name": "top_song",
              "description": "Get the most popular song played on a radio station.",
              "parameters": {
                  "type": "object",
                  "properties": {
                      "sign": {
                          "type": "string",
                          "description": "The call sign for the radio station for which you want the most popular song. Example calls signs are WZPZ and WKRP."
                      }
                  },
                  "required": [
                      "sign"
                  ]
              }
          }
      }
  ]

• tool_choice — Especifica como as funções são chamadas. Se definido para none o modelo, não chamará uma função e, em vez disso, gerará uma mensagem. Se definido para auto o modelo, pode optar por gerar uma mensagem ou chamar uma função. Se definido para any o modelo é forçado a chamar uma função.

• max_tokens — Especifique o número máximo de tokens a serem usados na resposta gerada. O modelo trunca a resposta quando o texto gerado excede max_tokens.

  Padrão	Mínimo	Máximo
  Mistral Large— 8.192	1	Mistral Large— 8.192

• temperatura — Controla a aleatoriedade das previsões feitas pelo modelo. Para ter mais informações, consulte Parâmetros de inferência.

  Padrão	Mínimo	Máximo
  Mistral Large— 0,7	0	1

• top_p — Controla a diversidade de texto que o modelo gera definindo a porcentagem de candidatos mais prováveis que o modelo considera para o próximo token. Para ter mais informações, consulte Parâmetros de inferência.

  Padrão	Mínimo	Máximo
  Mistral Large— 1	0	1

Response

A resposta body de uma chamada para InvokeModel é a seguinte:

{
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": str,
                "tool_calls": [...]
            },
            "stop_reason": "stop"|"length"|"tool_calls"
        }
    ]
}
                    
                

A resposta do body tem os seguintes campos:

• escolhas — A saída do modelo. campos.

  • index — O índice da mensagem.

  • mensagem — A mensagem do modelo.

    • função — A função da mensagem.

    • conteúdo — O conteúdo da mensagem.

    • tool_calls — Se o valor de stop_reason fortool_calls, esse campo contém uma lista de solicitações de ferramentas que o modelo deseja que você execute.

      • id — O ID da solicitação da ferramenta.

      • function — A função que o modelo está solicitando.

        • name — O nome da função.

        • argumentos — Os argumentos a serem passados para a ferramenta

      Veja a seguir um exemplo de solicitação de uma ferramenta que obtém a melhor música de uma estação de rádio.

      [
                          {
                              "id": "v6RMMiRlT7ygYkT4uULjtg",
                              "function": {
                                  "name": "top_song",
                                  "arguments": "{\"sign\": \"WZPZ\"}"
                              }
                          }
                      ]

  • stop_reason — O motivo pelo qual a resposta parou de gerar texto. Os valores possíveis são:

    • interromper: o modelo terminou de gerar texto para o prompt de entrada. O modelo para porque não tem mais conteúdo para gerar ou se o modelo gera uma das sequências de parada que você define no parâmetro de stop solicitação.

    • comprimento — O tamanho dos tokens para o texto gerado excede o valor demax_tokens. A resposta é truncada em tokens max_tokens.

    • tool_calls — O modelo está solicitando que você execute uma ferramenta.