Selecione suas preferências de cookies

Usamos cookies essenciais e ferramentas semelhantes que são necessárias para fornecer nosso site e serviços. Usamos cookies de desempenho para coletar estatísticas anônimas, para que possamos entender como os clientes usam nosso site e fazer as devidas melhorias. Cookies essenciais não podem ser desativados, mas você pode clicar em “Personalizar” ou “Recusar” para recusar cookies de desempenho.

Se você concordar, a AWS e terceiros aprovados também usarão cookies para fornecer recursos úteis do site, lembrar suas preferências e exibir conteúdo relevante, incluindo publicidade relevante. Para aceitar ou recusar todos os cookies não essenciais, clique em “Aceitar” ou “Recusar”. Para fazer escolhas mais detalhadas, clique em “Personalizar”.

Exemplos de código para throughput provisionado

Modo de foco
Exemplos de código para throughput provisionado - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Os exemplos de código a seguir demonstram como criar, usar e gerenciar throughput provisionado com a AWS CLI e o SDK para Python.

AWS CLI

Crie um throughput provisionado sem compromisso chamado MyPT com base em um modelo personalizado denominado MyCustomModel que foi personalizado com base no modelo Claude v2.1 da Anthropic executando o comando a seguir em um terminal.

aws bedrock create-provisioned-model-throughput \ --model-units 1 \ --provisioned-model-name MyPT \ --model-id arn:aws:bedrock:us-east-1::custom-model/anthropic.claude-v2:1:200k/MyCustomModel

A resposta retorna o provisioned-model-arn. Aguarde até que a criação seja concluída. Para verificar o status, forneça o nome ou o ARN do modelo provisionado como provisioned-model-id no comando a seguir.

aws bedrock get-provisioned-model-throughput \ --provisioned-model-id MyPT

Altere o nome do throughput provisionado e associe-o a um modelo diferente personalizado com base no Claude v2.1 da Anthropic.

aws bedrock update-provisioned-model-throughput \ --provisioned-model-id MyPT \ --desired-provisioned-model-name MyPT2 \ --desired-model-id arn:aws:bedrock:us-east-1::custom-model/anthropic.claude-v2:1:200k/MyCustomModel2

Execute a inferência com o modelo provisionado atualizado com o comando a seguir. Forneça o ARN do modelo provisionado, retornado na resposta de UpdateProvisionedModelThroughput como o model-id. A saída é gravada em um arquivo chamado output.txt em sua pasta atual.

aws bedrock-runtime invoke-model \ --model-id ${provisioned-model-arn} \ --body '{"inputText": "What is AWS?", "textGenerationConfig": {"temperature": 0.5}}' \ --cli-binary-format raw-in-base64-out \ output.txt

Exclua o throughput provisionado usando o seguinte comando: Você não receberá mais cobranças pelo throughput provisionado.

aws bedrock delete-provisioned-model-throughput --provisioned-model-id MyPT2
Python (Boto)

Crie um throughput provisionado sem compromisso chamado MyPT com base em um modelo personalizado denominado MyCustomModel que foi personalizado com base no modelo Claude v2.1 da Anthropic executando o trecho de código a seguir.

import boto3 bedrock = boto3.client(service_name='bedrock') bedrock.create_provisioned_model_throughput( modelUnits=1, provisionedModelName='MyPT', modelId='arn:aws:bedrock:us-east-1::custom-model/anthropic.claude-v2:1:200k/MyCustomModel' )

A resposta retorna o provisionedModelArn. Aguarde até que a criação seja concluída. É possível verificar o status com o seguinte trecho de código: É possível fornecer o nome do throughput provisionado ou do ARN exibido na resposta a CreateProvisionedModelThroughput como o provisionedModelId.

bedrock.get_provisioned_model_throughput(provisionedModelId='MyPT')

Altere o nome do throughput provisionado e associe-o a um modelo diferente personalizado com base no Claude v2.1 da Anthropic. Envie uma solicitação GetProvisionedModelThroughput e salve o ARN do modelo provisionado em uma variável para uso na inferência.

bedrock.update_provisioned_model_throughput( provisionedModelId='MyPT', desiredProvisionedModelName='MyPT2', desiredModelId='arn:aws:bedrock:us-east-1::custom-model/anthropic.claude-v2:1:200k/MyCustomModel2' ) arn_MyPT2 = bedrock.get_provisioned_model_throughput(provisionedModelId='MyPT2').get('provisionedModelArn')

Execute a inferência com o modelo provisionado atualizado com o comando a seguir. Forneça o ARN do modelo provisionado como o modelId.

import json import logging import boto3 from botocore.exceptions import ClientError class ImageError(Exception): "Custom exception for errors returned by the model" def __init__(self, message): self.message = message logger = logging.getLogger(__name__) logging.basicConfig(level=logging.INFO) def generate_text(model_id, body): """ Generate text using your provisioned custom model. Args: model_id (str): The model ID to use. body (str) : The request body to use. Returns: response (json): The response from the model. """ logger.info( "Generating text with your provisioned custom model %s", model_id) brt = boto3.client(service_name='bedrock-runtime') accept = "application/json" content_type = "application/json" response = brt.invoke_model( body=body, modelId=model_id, accept=accept, contentType=content_type ) response_body = json.loads(response.get("body").read()) finish_reason = response_body.get("error") if finish_reason is not None: raise ImageError(f"Text generation error. Error is {finish_reason}") logger.info( "Successfully generated text with provisioned custom model %s", model_id) return response_body def main(): """ Entrypoint for example. """ try: logging.basicConfig(level=logging.INFO, format="%(levelname)s: %(message)s") model_id = arn_myPT2 body = json.dumps({ "inputText": "what is AWS?" }) response_body = generate_text(model_id, body) print(f"Input token count: {response_body['inputTextTokenCount']}") for result in response_body['results']: print(f"Token count: {result['tokenCount']}") print(f"Output text: {result['outputText']}") print(f"Completion reason: {result['completionReason']}") except ClientError as err: message = err.response["Error"]["Message"] logger.error("A client error occurred: %s", message) print("A client error occured: " + format(message)) except ImageError as err: logger.error(err.message) print(err.message) else: print( f"Finished generating text with your provisioned custom model {model_id}.") if __name__ == "__main__": main()

Exclua o throughput provisionado com o seguinte trecho de código: Você não receberá mais cobranças pelo throughput provisionado.

bedrock.delete_provisioned_model_throughput(provisionedModelId='MyPT2')

Crie um throughput provisionado sem compromisso chamado MyPT com base em um modelo personalizado denominado MyCustomModel que foi personalizado com base no modelo Claude v2.1 da Anthropic executando o comando a seguir em um terminal.

aws bedrock create-provisioned-model-throughput \ --model-units 1 \ --provisioned-model-name MyPT \ --model-id arn:aws:bedrock:us-east-1::custom-model/anthropic.claude-v2:1:200k/MyCustomModel

A resposta retorna o provisioned-model-arn. Aguarde até que a criação seja concluída. Para verificar o status, forneça o nome ou o ARN do modelo provisionado como provisioned-model-id no comando a seguir.

aws bedrock get-provisioned-model-throughput \ --provisioned-model-id MyPT

Altere o nome do throughput provisionado e associe-o a um modelo diferente personalizado com base no Claude v2.1 da Anthropic.

aws bedrock update-provisioned-model-throughput \ --provisioned-model-id MyPT \ --desired-provisioned-model-name MyPT2 \ --desired-model-id arn:aws:bedrock:us-east-1::custom-model/anthropic.claude-v2:1:200k/MyCustomModel2

Execute a inferência com o modelo provisionado atualizado com o comando a seguir. Forneça o ARN do modelo provisionado, retornado na resposta de UpdateProvisionedModelThroughput como o model-id. A saída é gravada em um arquivo chamado output.txt em sua pasta atual.

aws bedrock-runtime invoke-model \ --model-id ${provisioned-model-arn} \ --body '{"inputText": "What is AWS?", "textGenerationConfig": {"temperature": 0.5}}' \ --cli-binary-format raw-in-base64-out \ output.txt

Exclua o throughput provisionado usando o seguinte comando: Você não receberá mais cobranças pelo throughput provisionado.

aws bedrock delete-provisioned-model-throughput --provisioned-model-id MyPT2
PrivacidadeTermos do sitePreferências de cookies
© 2025, Amazon Web Services, Inc. ou suas afiliadas. Todos os direitos reservados.