Selecione suas preferências de cookies

Usamos cookies essenciais e ferramentas semelhantes que são necessárias para fornecer nosso site e serviços. Usamos cookies de desempenho para coletar estatísticas anônimas, para que possamos entender como os clientes usam nosso site e fazer as devidas melhorias. Cookies essenciais não podem ser desativados, mas você pode clicar em “Personalizar” ou “Recusar” para recusar cookies de desempenho.

Se você concordar, a AWS e terceiros aprovados também usarão cookies para fornecer recursos úteis do site, lembrar suas preferências e exibir conteúdo relevante, incluindo publicidade relevante. Para aceitar ou recusar todos os cookies não essenciais, clique em “Aceitar” ou “Recusar”. Para fazer escolhas mais detalhadas, clique em “Personalizar”.

Mistral AI Grandes 2 (24,07) parâmetros e inferência

Modo de foco
Mistral AI Grandes 2 (24,07) parâmetros e inferência - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

A ferramenta Mistral AI a conclusão do bate-papo API permite criar aplicativos de conversação. Você também pode usar o Amazon Bedrock Converse APIcom esse modelo. É possível usar ferramentas para fazer chamadas de função.

dica

Você pode usar o Mistral AI conclusão do bate-papo API com as operações básicas de inferência (InvokeModelou InvokeModelWithResponseStream). No entanto, recomendamos que você use o Converse APIpara implementar mensagens em seu aplicativo. A ferramenta Converse APIfornece um conjunto unificado de parâmetros que funcionam em todos os modelos que oferecem suporte a mensagens. Para obter mais informações, consulte Conduza uma conversa com o Converse Operações do API.

Mistral AI os modelos estão disponíveis sob a licença Apache 2.0. Para obter mais informações sobre o uso Mistral AI modelos, veja o Mistral AI documentação.

Modelos compatíveis

Você pode usar o seguinte Mistral AI modelos com os exemplos de código nesta página..

  • Mistral Large 2 (24.07)

É necessário o ID do modelo que deseja usar. Para obter o ID do modelo, consulte Modelos de base compatíveis no Amazon Bedrock.

Exemplos de solicitação e resposta

Request

Mistral AI Exemplo de modelo de invocação Large 2 (24.07).

import boto3 import json bedrock = session.client('bedrock-runtime', 'us-west-2') response = bedrock.invoke_model( modelId='mistral.mistral-large-2407-v1:0', body=json.dumps({ 'messages': [ { 'role': 'user', 'content': 'which llm are you?' } ], }) ) print(json.dumps(json.loads(response['body']), indent=4))
Converse

Mistral AI Exemplo inverso grande (24,07).

import boto3 import json bedrock = session.client('bedrock-runtime', 'us-west-2') response = bedrock.converse( modelId='mistral.mistral-large-2407-v1:0', messages=[ { 'role': 'user', 'content': [ { 'text': 'which llm are you?' } ] } ] ) print(json.dumps(json.loads(response['body']), indent=4))
invoke_model_with_response_stream

Mistral AI Exemplo grande de 2 (24.07) invoke_model_with_response_stream.

import boto3 import json bedrock = session.client('bedrock-runtime', 'us-west-2') response = bedrock.invoke_model_with_response_stream( "body": json.dumps({ "messages": [{"role": "user", "content": "What is the best French cheese?"}], }), "modelId":"mistral.mistral-large-2407-v1:0" ) stream = response.get('body') if stream: for event in stream: chunk=event.get('chunk') if chunk: chunk_obj=json.loads(chunk.get('bytes').decode()) print(chunk_obj)
converse_stream

Mistral AI Exemplo grande de 2 (24,07) converse_stream.

import boto3 import json bedrock = session.client('bedrock-runtime', 'us-west-2') mistral_params = { "messages": [{ "role": "user","content": [{"text": "What is the best French cheese? "}] }], "modelId":"mistral.mistral-large-2407-v1:0", } response = bedrock.converse_stream(**mistral_params) stream = response.get('stream') if stream: for event in stream: if 'messageStart' in event: print(f"\nRole: {event['messageStart']['role']}") if 'contentBlockDelta' in event: print(event['contentBlockDelta']['delta']['text'], end="") if 'messageStop' in event: print(f"\nStop reason: {event['messageStop']['stopReason']}") if 'metadata' in event: metadata = event['metadata'] if 'usage' in metadata: print("\nToken usage ... ") print(f"Input tokens: {metadata['usage']['inputTokens']}") print( f":Output tokens: {metadata['usage']['outputTokens']}") print(f":Total tokens: {metadata['usage']['totalTokens']}") if 'metrics' in event['metadata']: print( f"Latency: {metadata['metrics']['latencyMs']} milliseconds")
JSON Output

Mistral AI Exemplo de JSON saída grande (24,07).

import boto3 import json bedrock = session.client('bedrock-runtime', 'us-west-2') mistral_params = { "body": json.dumps({ "messages": [{"role": "user", "content": "What is the best French meal? Return the name and the ingredients in short JSON object."}] }), "modelId":"mistral.mistral-large-2407-v1:0", } response = bedrock.invoke_model(**mistral_params) body = response.get('body').read().decode('utf-8') print(json.loads(body))
Tooling

Mistral AI Exemplo de 2 ferramentas grandes (24,07).

data = { 'transaction_id': ['T1001', 'T1002', 'T1003', 'T1004', 'T1005'], 'customer_id': ['C001', 'C002', 'C003', 'C002', 'C001'], 'payment_amount': [125.50, 89.99, 120.00, 54.30, 210.20], 'payment_date': ['2021-10-05', '2021-10-06', '2021-10-07', '2021-10-05', '2021-10-08'], 'payment_status': ['Paid', 'Unpaid', 'Paid', 'Paid', 'Pending'] } # Create DataFrame df = pd.DataFrame(data) def retrieve_payment_status(df: data, transaction_id: str) -> str: if transaction_id in df.transaction_id.values: return json.dumps({'status': df[df.transaction_id == transaction_id].payment_status.item()}) return json.dumps({'error': 'transaction id not found.'}) def retrieve_payment_date(df: data, transaction_id: str) -> str: if transaction_id in df.transaction_id.values: return json.dumps({'date': df[df.transaction_id == transaction_id].payment_date.item()}) return json.dumps({'error': 'transaction id not found.'}) tools = [ { "type": "function", "function": { "name": "retrieve_payment_status", "description": "Get payment status of a transaction", "parameters": { "type": "object", "properties": { "transaction_id": { "type": "string", "description": "The transaction id.", } }, "required": ["transaction_id"], }, }, }, { "type": "function", "function": { "name": "retrieve_payment_date", "description": "Get payment date of a transaction", "parameters": { "type": "object", "properties": { "transaction_id": { "type": "string", "description": "The transaction id.", } }, "required": ["transaction_id"], }, }, } ] names_to_functions = { 'retrieve_payment_status': functools.partial(retrieve_payment_status, df=df), 'retrieve_payment_date': functools.partial(retrieve_payment_date, df=df) } test_tool_input = "What's the status of my transaction T1001?" message = [{"role": "user", "content": test_tool_input}] def invoke_bedrock_mistral_tool(): mistral_params = { "body": json.dumps({ "messages": message, "tools": tools }), "modelId":"mistral.mistral-large-2407-v1:0", } response = bedrock.invoke_model(**mistral_params) body = response.get('body').read().decode('utf-8') body = json.loads(body) choices = body.get("choices") message.append(choices[0].get("message")) tool_call = choices[0].get("message").get("tool_calls")[0] function_name = tool_call.get("function").get("name") function_params = json.loads(tool_call.get("function").get("arguments")) print("\nfunction_name: ", function_name, "\nfunction_params: ", function_params) function_result = names_to_functions[function_name](**function_params) message.append({"role": "tool", "content": function_result, "tool_call_id":tool_call.get("id")}) new_mistral_params = { "body": json.dumps({ "messages": message, "tools": tools }), "modelId":"mistral.mistral-large-2407-v1:0", } response = bedrock.invoke_model(**new_mistral_params) body = response.get('body').read().decode('utf-8') body = json.loads(body) print(body) invoke_bedrock_mistral_tool()

Mistral AI Exemplo de modelo de invocação Large 2 (24.07).

import boto3 import json bedrock = session.client('bedrock-runtime', 'us-west-2') response = bedrock.invoke_model( modelId='mistral.mistral-large-2407-v1:0', body=json.dumps({ 'messages': [ { 'role': 'user', 'content': 'which llm are you?' } ], }) ) print(json.dumps(json.loads(response['body']), indent=4))
PrivacidadeTermos do sitePreferências de cookies
© 2025, Amazon Web Services, Inc. ou suas afiliadas. Todos os direitos reservados.