Mistral AI채팅 완료

Mistral AI채팅 완료 API를 사용하면 대화형 애플리케이션을 만들 수 있습니다.

작은 정보

Mistral AI채팅 완료 API를 기본 추론 작업 (InvokeModel또는 InvokeModel WithResponse 스트림) 과 함께 사용할 수 있습니다. 하지만 컨버스 API를 사용하여 애플리케이션에서 메시지를 구현하는 것이 좋습니다. Converse API는 메시지를 지원하는 모든 모델에서 작동하는 통합된 매개변수 세트를 제공합니다. 자세한 정보는 컨버스 API 사용하기을 참조하세요.

Mistral AI모델은 Apache 2.0 라이선스에 따라 사용할 수 있습니다. Mistral AI모델 사용에 대한 자세한 내용은 Mistral AI설명서를 참조하십시오.

지원되는 모델

다음 Mistral AI 모델을 사용할 수 있습니다.

• Mistral Large

사용하려는 모델의 모델 ID가 필요합니다. 모델 ID를 가져오려면 을 참조하십시오아마존 베드락 모델 ID.

요청 및 응답

Request

Mistral AI모델에는 다음과 같은 추론 매개변수가 있습니다.

{
    "messages": [
        {
            "role": "system"|"user"|"assistant",
            "content": str
        },
        {
            "role": "assistant",
            "content": "",
            "tool_calls": [
                {
                    "id": str,
                    "function": {
                        "name": str,
                        "arguments": str
                    }
                }
            ]
        },
        {
            "role": "tool",
            "tool_call_id": str,
            "content": str
        }
    ],
    "tools": [
        {
            "type": "function",
            "function": {
                "name": str,
                "description": str,
                "parameters": dict
            }
        }
    ],
    "tool_choice": "auto"|"any"|"none",
    "max_tokens": int,
    "top_p": float,
    "temperature": float
}

다음은 필수 파라미터입니다.

• 메시지 — (필수) 모델에 전달하려는 메시지입니다.

  • 역할 — 메시지의 역할. 유효한 값은 다음과 같습니다.

    • 시스템 - 대화에서 모델의 동작과 컨텍스트를 설정합니다.

    • 사용자 - 모델에 보낼 사용자 메시지입니다.

    • 어시스턴트 — 모델의 응답.

  • 콘텐츠 — 메시지 콘텐츠입니다.

  [
      {
          "role": "user",
          "content": "What is the most popular song on WZPZ?"
      }
  ]

  도구 결과를 전달하려면 다음 필드와 함께 JSON을 사용하십시오.

  • 역할 — 메시지의 역할. 값은 tool여야 합니다.

  • tool_call_id — 도구 요청의 ID입니다. ID는 이전 요청의 응답에 있는 tool_calls 필드에서 가져옵니다.

  • content — 툴의 결과.

  다음 예는 라디오 방송국에서 가장 인기 있는 노래를 가져오는 도구를 사용하여 만든 결과입니다.

  {
      "role": "tool",
      "tool_call_id": "v6RMMiRlT7ygYkT4uULjtg",
      "content": "{\"song\": \"Elemental Hotel\", \"artist\": \"8 Storey Hike\"}"
  }

다음 파라미터는 선택 사항입니다.

• 도구 — 모델이 사용할 수 있는 도구의 정의.

  요청에 포함시키는 tools 경우 모델은 모델의 해당 도구 사용을 나타내는 tool_calls 필드를 메시지에 반환할 수 있습니다. 그런 다음 모델에서 생성된 도구 입력을 사용하여 해당 도구를 실행한 다음 선택적으로 tool_result 콘텐츠 블록을 사용하여 결과를 모델에 반환할 수 있습니다.

  다음은 라디오 방송국에서 가장 인기 있는 노래를 가져오는 도구를 위한 예제입니다.

  [
      {
          "type": "function",
          "function": {
              "name": "top_song",
              "description": "Get the most popular song played on a radio station.",
              "parameters": {
                  "type": "object",
                  "properties": {
                      "sign": {
                          "type": "string",
                          "description": "The call sign for the radio station for which you want the most popular song. Example calls signs are WZPZ and WKRP."
                      }
                  },
                  "required": [
                      "sign"
                  ]
              }
          }
      }
  ]

• tool_choice — 함수 호출 방법을 지정합니다. 모델로 설정하면 함수가 호출되지 않고 대신 메시지가 생성됩니다. none 로 auto 설정하면 모델은 메시지 생성 또는 함수 호출을 선택할 수 있습니다. 모델로 설정하면 any 강제로 함수를 호출합니다.

• max_token — 생성된 응답에 사용할 최대 토큰 수를 지정합니다. 생성된 텍스트가 max_tokens을 초과하면 모델은 응답을 잘라냅니다.

  기본값	최소	Maximum
  Mistral Large— 8,192	1	Mistral Large— 8,192

• 온도 — 모형에 의한 예측의 무작위성을 제어합니다. 자세한 정보는 추론 파라미터을 참조하세요.

  기본값	최소	Maximum
  Mistral Large— 0.7	0	1

• top_p — 모델이 다음 토큰으로 고려할 가능성이 가장 높은 후보의 비율을 설정하여 모델이 생성하는 텍스트의 다양성을 제어합니다. 자세한 정보는 추론 파라미터을 참조하세요.

  기본값	최소	Maximum
  Mistral Large— 1	0	1

Response

InvokeModel에 대한 직접 호출의 body 응답은 다음과 같습니다.

{
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": str,
                "tool_calls": [...]
            },
            "stop_reason": "stop"|"length"|"tool_calls"
        }
    ]
}
                    
                

body 응답에는 다음과 같은 필드가 포함됩니다.

• 선택 — 모델의 출력. 필드.

  • 색인 — 메시지의 색인입니다.

  • 메시지 — 모델이 보내는 메시지.

    • 역할 — 메시지의 역할.

    • 콘텐츠 — 메시지 콘텐츠입니다.

    • tool_calls — 값이 인 stop_reason 경우 이 필드에는 모델이 실행하기를 원하는 도구 요청 목록이 포함됩니다. tool_calls

      • id — 도구 요청의 ID입니다.

      • 함수 — 모델이 요청하는 함수.

        • 이름 — 함수 이름.

        • 인수 — 도구에 전달할 인수

      다음은 라디오 방송국의 인기 곡을 가져오는 도구에 대한 요청 예시입니다.

      [
                          {
                              "id": "v6RMMiRlT7ygYkT4uULjtg",
                              "function": {
                                  "name": "top_song",
                                  "arguments": "{\"sign\": \"WZPZ\"}"
                              }
                          }
                      ]

  • stop_reason — 응답에서 텍스트 생성이 중단된 이유. 가능한 값은 다음과 같습니다.

    • 중지 - 모델이 입력 프롬프트에 대한 텍스트 생성을 완료했습니다. 더 이상 생성할 콘텐츠가 없거나 stop 요청 매개변수에 정의한 중지 시퀀스 중 하나를 모델이 생성하는 경우 모델이 중지됩니다.

    • 길이 — 생성된 텍스트의 토큰 길이가 의 값을 초과합니다max_tokens. 응답은 max_tokens 토큰 수로 잘립니다.

    • tool_calls — 모델이 도구 실행을 요청합니다.