Cómo funciona la inferencia en Amazon Bedrock

Al enviar una entrada a un modelo, el modelo predice una secuencia probable de símbolos que sigue y devuelve esa secuencia como salida. Amazon Bedrock le ofrece la capacidad de ejecutar inferencias con el modelo básico que elija. Para ejecutar una inferencia, proporcione las siguientes entradas:

• Petición: una entrada que se proporciona al modelo para que genere una respuesta. Para obtener información sobre la escritura de peticiones, consulte Conceptos de ingeniería de peticiones. Para obtener más información sobre la protección contra los ataques de inyección de peticiones, consulte Seguridad de la inyección de peticiones.

• Modelo: modelo fundacional o perfil de inferencia con el que realizar inferencias. El modelo o perfil de inferencia que elija también especifica un nivel de rendimiento, que define el número y la velocidad de los tokens de entrada y salida que puede procesar. Para obtener más información sobre los modelos fundacionales disponibles en Amazon Bedrock, consulte Información del modelo fundacional de Amazon Bedrock. Para obtener más información sobre los perfiles de inferencia, consulte Configurar un recurso de invocación de modelos mediante perfiles de inferencia. Para obtener más información sobre cómo aumentar el rendimiento, consulte y. Aumente el rendimiento con la inferencia entre regiones Aumento de la capacidad de invocación de modelos con el rendimiento aprovisionado en Amazon Bedrock

• Parámetros de inferencia: conjunto de valores que se pueden ajustar para limitar o influir en la respuesta del modelo. Para obtener más información acerca de los parámetros de inferencia, consulte Influencia sobre la generación de respuestas con parámetros de inferencia y Parámetros de solicitud de inferencia y campos de respuesta para los modelos fundacionales.

Invocar modelos en diferentes regiones AWS

Cuando se invoca un modelo, se elige el lugar Región de AWS en el que se invoca. Las cuotas de frecuencia y tamaño de las solicitudes que puede realizar dependen de la región. Puede encontrar estas cuotas buscando las siguientes cuotas en Amazon Bedrock Service Quots:

• Solicitudes de inferencia de modelos a pedido por minuto para ${Model}

• InvokeModel Tokens a pedido por minuto para ${Model}

También puede invocar un perfil de inferencia en lugar del propio modelo básico. Un perfil de inferencia define un modelo y una o más regiones a las que el perfil de inferencia puede dirigir las solicitudes de invocación del modelo. Al invocar un perfil de inferencia que incluye varias regiones, puede aumentar su rendimiento. Para obtener más información, consulte Aumente el rendimiento con la inferencia entre regiones. Para ver las cuotas de frecuencia y tamaño de las solicitudes que puede realizar con un perfil de inferencia, busque las siguientes cuotas en Amazon Bedrock service quota:

• InvokeModel Solicitudes interregionales por minuto para ${Model}

• InvokeModel Tokens entre regiones por minuto para ${Model}

Las solicitudes realizadas a una región pueden tramitarse desde zonas locales que comparten la misma región principal. Por ejemplo, las solicitudes realizadas a EE. UU. Este (Virginia del Norte) (us-east-1) pueden atenderse desde cualquier zona local asociada a ella, como Atlanta, EE. UU. (us-east-1-atl-2a).

El mismo principio se aplica cuando se utiliza la inferencia entre regiones. Por ejemplo, las solicitudes realizadas al perfil de Anthropic Claude 3 Haiku inferencia de EE. UU. pueden atenderse desde cualquier zona local cuya región principal esté en EE. UU., como Seattle, EE. UU. (us-west-2-sea-1a). Cuando se añadan nuevas zonas locales AWS, también se añadirán al punto final de inferencia interregional correspondiente.

Para ver una lista de los puntos finales locales y las regiones principales a las que están asociados, consulte Ubicaciones de zonas AWS locales.