Mistral AIpenyelesaian obrolan

API penyelesaian Mistral AI obrolan memungkinkan membuat aplikasi percakapan.

Tip

Anda dapat menggunakan API penyelesaian Mistral AI obrolan dengan operasi inferensi dasar (InvokeModelatau InvokeModelWithResponseStream). Namun, kami menyarankan Anda menggunakan Converse API untuk mengimplementasikan pesan dalam aplikasi Anda. Converse API menyediakan serangkaian parameter terpadu yang berfungsi di semua model yang mendukung pesan. Untuk informasi selengkapnya, lihat Lakukan percakapan dengan Converse.

Mistral AImodel tersedia di bawah lisensi Apache 2.0. Untuk informasi selengkapnya tentang penggunaan Mistral AI model, lihat Mistral AIdokumentasi.

Model yang didukung

Anda dapat menggunakan Mistral AI model berikut.

• Mistral Large

Anda memerlukan ID model untuk model yang ingin Anda gunakan. Untuk mendapatkan ID model, lihatModel Amazon Bedrock IDs.

Permintaan dan Tanggapan

Request

Mistral AIModel memiliki parameter inferensi berikut.

{
    "messages": [
        {
            "role": "system"|"user"|"assistant",
            "content": str
        },
        {
            "role": "assistant",
            "content": "",
            "tool_calls": [
                {
                    "id": str,
                    "function": {
                        "name": str,
                        "arguments": str
                    }
                }
            ]
        },
        {
            "role": "tool",
            "tool_call_id": str,
            "content": str
        }
    ],
    "tools": [
        {
            "type": "function",
            "function": {
                "name": str,
                "description": str,
                "parameters": dict
            }
        }
    ],
    "tool_choice": "auto"|"any"|"none",
    "max_tokens": int,
    "top_p": float,
    "temperature": float
}

Berikut ini adalah parameter yang diperlukan.

• pesan — (Wajib) Pesan yang ingin Anda sampaikan ke model.

  • peran — Peran untuk pesan. Nilai yang valid adalah:

    • sistem — Menetapkan perilaku dan konteks untuk model dalam percakapan.

    • pengguna — Pesan pengguna untuk dikirim ke model.

    • asisten — Respon dari model.

  • konten — Konten untuk pesan.

  [
      {
          "role": "user",
          "content": "What is the most popular song on WZPZ?"
      }
  ]

  Untuk meneruskan hasil alat, gunakan JSON dengan bidang berikut.

  • peran — Peran untuk pesan. Nilainya harustool.

  • tool_call_id — ID permintaan alat. Anda mendapatkan ID dari tool_calls bidang dalam respons dari permintaan sebelumnya.

  • konten — Hasil dari alat.

  Contoh berikut adalah hasil dari alat yang mendapatkan lagu paling populer di stasiun radio.

  {
      "role": "tool",
      "tool_call_id": "v6RMMiRlT7ygYkT4uULjtg",
      "content": "{\"song\": \"Elemental Hotel\", \"artist\": \"8 Storey Hike\"}"
  }

Berikut ini adalah parameter opsional.

• alat — Definisi alat yang dapat digunakan model.

  Jika Anda menyertakan tools dalam permintaan Anda, model dapat menampilkan tool_calls bidang dalam pesan yang mewakili penggunaan alat tersebut oleh model. Anda kemudian dapat menjalankan alat tersebut menggunakan input alat yang dihasilkan oleh model dan kemudian secara opsional mengembalikan hasil kembali ke model menggunakan blok tool_result konten.

  Contoh berikut adalah untuk alat yang mendapatkan lagu paling populer di stasiun radio.

  [
      {
          "type": "function",
          "function": {
              "name": "top_song",
              "description": "Get the most popular song played on a radio station.",
              "parameters": {
                  "type": "object",
                  "properties": {
                      "sign": {
                          "type": "string",
                          "description": "The call sign for the radio station for which you want the most popular song. Example calls signs are WZPZ and WKRP."
                      }
                  },
                  "required": [
                      "sign"
                  ]
              }
          }
      }
  ]

• tool_choice - Menentukan bagaimana fungsi dipanggil. Jika disetel none ke model tidak akan memanggil fungsi dan akan menghasilkan pesan sebagai gantinya. Jika disetel auto ke model dapat memilih untuk menghasilkan pesan atau memanggil fungsi. Jika diatur any ke model dipaksa untuk memanggil fungsi.

• max_tokens — Tentukan jumlah maksimum token yang akan digunakan dalam respons yang dihasilkan. Model memotong respons setelah teks yang dihasilkan melebihi. max_tokens

  Default	Minimum	Maksimum
  Mistral Large— 8,192	1	Mistral Large— 8,192

• suhu — Mengontrol keacakan prediksi yang dibuat oleh model. Untuk informasi selengkapnya, lihat Mempengaruhi generasi respons dengan parameter inferensi.

  Default	Minimum	Maksimum
  Mistral Large— 0.7	0	1

• top_p — Mengontrol keragaman teks yang dihasilkan model dengan menetapkan persentase kandidat yang paling mungkin dipertimbangkan model untuk token berikutnya. Untuk informasi selengkapnya, lihat Mempengaruhi generasi respons dengan parameter inferensi.

  Default	Minimum	Maksimum
  Mistral Large— 1	0	1

Response

bodyTanggapan dari panggilan ke InvokeModel adalah sebagai berikut:

{
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": str,
                "tool_calls": [...]
            },
            "stop_reason": "stop"|"length"|"tool_calls"
        }
    ]
}
                    
                

bodyTanggapan memiliki bidang-bidang berikut:

• pilihan — Output dari model. bidang.

  • index — Indeks untuk pesan.

  • pesan — Pesan dari model.

    • peran — Peran untuk pesan.

    • konten — Konten untuk pesan.

    • tool_calls - Jika nilainyatool_calls, bidang ini berisi daftar permintaan alat yang model ingin Anda jalankan. stop_reason

      • id — ID untuk permintaan alat.

      • fungsi — Fungsi yang diminta model.

        • Nama — Nama fungsi.

        • Argumen — Argumen untuk diteruskan ke alat

      Berikut ini adalah contoh permintaan untuk alat yang mendapatkan lagu teratas di stasiun radio.

      [
                          {
                              "id": "v6RMMiRlT7ygYkT4uULjtg",
                              "function": {
                                  "name": "top_song",
                                  "arguments": "{\"sign\": \"WZPZ\"}"
                              }
                          }
                      ]

  • stop_reason — Alasan mengapa respon berhenti menghasilkan teks. Kemungkinan nilainya adalah:

    • stop — Model telah selesai menghasilkan teks untuk prompt input. Model berhenti karena tidak memiliki konten lagi untuk dihasilkan atau jika model menghasilkan salah satu urutan berhenti yang Anda tentukan dalam parameter stop permintaan.

    • panjang — Panjang token untuk teks yang dihasilkan melebihi nilaimax_tokens. Respons terpotong menjadi token. max_tokens

    • tool_calls — Model ini meminta Anda menjalankan alat.