Usa un modelo personalizado

Antes de poder usar un modelo personalizado, debe adquirir el rendimiento aprovisionado para él. Para obtener más información sobre el rendimiento aprovisionado, consulte. Rendimiento aprovisionado para Amazon Bedrock A continuación, puede utilizar el modelo aprovisionado resultante como inferencia. Seleccione la pestaña correspondiente al método que prefiera y siga los pasos.

Console

Para adquirir un rendimiento aprovisionado para un modelo personalizado.

1. En la consola de Amazon Bedrock, seleccione Modelos personalizados en Foundation Models en el panel de navegación izquierdo.

2. En la pestaña Modelos, pulse el botón de radio situado junto al modelo para el que desee comprar Provisioned Throughput o seleccione el nombre del modelo para ir a la página de detalles.

3. Seleccione Comprar rendimiento aprovisionado.

4. Para obtener más información, sigue los pasos que se indican en. Adquiera un rendimiento aprovisionado para un modelo Amazon Bedrock

5. Tras adquirir el rendimiento aprovisionado para su modelo personalizado, siga los pasos que se indican en. Ejecute la inferencia mediante un rendimiento aprovisionado

Cuando realice cualquier operación que permita el uso de modelos personalizados, verá su modelo personalizado como una opción en el menú de selección de modelos.

API

Para adquirir Provisioned Throughput para un modelo personalizado, siga los pasos que se indican Adquiera un rendimiento aprovisionado para un modelo Amazon Bedrock a continuación para enviar una solicitud CreateProvisionedModelThroughput(consulte el enlace para ver los formatos de solicitud y respuesta y los detalles de los campos) a un punto final del plano de control de Amazon Bedrock. Utilice el nombre o el ARN de su modelo personalizado como. modelId La respuesta devuelve un provisionedModelArn que puede utilizar modelId al realizar una InvokeModelWithResponseStreamsolicitud InvokeModelo.

Vea ejemplos de código