Cómo funciona la inferencia en Amazon Bedrock

Al enviar una entrada a un modelo, el modelo predice una secuencia probable de símbolos que sigue y devuelve esa secuencia como salida. Amazon Bedrock le ofrece la capacidad de ejecutar inferencias con el modelo básico que elija. Para ejecutar una inferencia, proporcione las siguientes entradas:

• Petición: una entrada que se proporciona al modelo para que genere una respuesta. Para obtener información sobre la escritura de peticiones, consulte Conceptos de ingeniería de peticiones. Para obtener más información sobre la protección contra los ataques de inyección de peticiones, consulte Seguridad de la inyección de peticiones.

• Modelo: modelo fundacional o perfil de inferencia con el que realizar inferencias. El modelo o perfil de inferencia que elija también especifica un nivel de rendimiento, que define el número y la velocidad de los tokens de entrada y salida que puede procesar. Para obtener más información sobre los modelos fundacionales disponibles en Amazon Bedrock, consulte Información del modelo fundacional de Amazon Bedrock. Para obtener más información sobre los perfiles de inferencia, consulte Configurar un recurso de invocación de modelos mediante perfiles de inferencia. Para obtener más información sobre cómo aumentar el rendimiento, consulte y. Aumente el rendimiento con la inferencia entre regiones Aumento de la capacidad de invocación de modelos con el rendimiento aprovisionado en Amazon Bedrock

• Parámetros de inferencia: conjunto de valores que se pueden ajustar para limitar o influir en la respuesta del modelo. Para obtener más información acerca de los parámetros de inferencia, consulte Influencia sobre la generación de respuestas con parámetros de inferencia y Parámetros de solicitud de inferencia y campos de respuesta para los modelos fundacionales.

Invocación de modelos en diferentes regiones AWS

Cuando se invoca un modelo, se elige el lugar Región de AWS en el que se va a invocar. Las cuotas de frecuencia y tamaño de las solicitudes que puede realizar dependen de la región. Para encontrar estas cuotas, busca las siguientes cuotas en Amazon Bedrock Service Quots:

• Solicitudes de inferencia de modelos a pedido por minuto para ${Model}

• InvokeModel Tokens a pedido por minuto para ${Model}

También puede invocar un perfil de inferencia en lugar del propio modelo básico. Un perfil de inferencia define un modelo y una o más regiones a las que el perfil de inferencia puede dirigir las solicitudes de invocación del modelo. Al invocar un perfil de inferencia que incluye varias regiones, puede aumentar su rendimiento. Para obtener más información, consulte Aumente el rendimiento con la inferencia entre regiones. Para ver las cuotas de frecuencia y tamaño de las solicitudes que puede realizar con un perfil de inferencia, busque las siguientes cuotas en Amazon Bedrock service quota:

• InvokeModel Solicitudes interregionales por minuto para ${Model}

• InvokeModel Tokens entre regiones por minuto para ${Model}

• InvokeModel Solicitudes globales entre regiones por minuto para ${Model}

• InvokeModel Tokens globales entre regiones por minuto para ${Model}

Las solicitudes realizadas a una región pueden tramitarse desde zonas locales que comparten la misma región principal. Por ejemplo, las solicitudes realizadas a EE. UU. Este (Virginia del Norte) (us-east-1) pueden atenderse desde cualquier zona local asociada a ella, como Atlanta, EE. UU. (us-east-1-atl-2a).

El mismo principio se aplica cuando se utiliza la inferencia entre regiones. Por ejemplo, las solicitudes realizadas al perfil de Anthropic Claude 3 Haiku inferencia de EE. UU. pueden atenderse desde cualquier zona local cuya región principal esté en EE. UU., como Seattle, EE. UU. (us-west-2-sea-1a). Cuando se añadan nuevas zonas locales AWS, también se añadirán al punto final de inferencia interregional correspondiente.

Para ver una lista de los puntos finales locales y las regiones principales a las que están asociados, consulte Ubicaciones de zonas AWS locales.

Cuando invoca un perfil de inferencia entre regiones en Amazon Bedrock, su solicitud se origina en una región de origen y se enruta automáticamente a una de las regiones de destino definidas en ese perfil, lo que optimiza el rendimiento. Las regiones de destino del perfil de inferencia global entre regiones incluyen todas las regiones comerciales.

El perfil de inferencia global entre regiones para un modelo específico puede cambiar con el tiempo, ya que AWS agrega más regiones comerciales en las que se pueden procesar sus solicitudes. Sin embargo, si un perfil de inferencia está vinculado a una región geográfica (como EE. UU., la UE o APAC), su lista de regiones de destino nunca cambiará. AWS podría crear nuevos perfiles de inferencia que incorporen nuevas regiones. Puede actualizar sus sistemas para utilizar estos perfiles de inferencia cambiando IDs la configuración por una nueva.

nota

Las regiones de destino de un perfil de inferencia interregional pueden incluir regiones opcionales, que son regiones que debe habilitar de forma explícita a Cuenta de AWS nivel de organización. Para obtener más información, consulta Cómo activar o desactivar tu cuenta Regiones de AWS. Si utilizas un perfil de inferencia entre regiones, tu solicitud de inferencia se puede dirigir a cualquiera de las regiones de destino del perfil, incluso si no has optado por utilizar dichas regiones en tu cuenta.

Las políticas de control de servicios (SCPs) y las políticas AWS Identity and Access Management (de IAM) funcionan en conjunto para controlar dónde se permite la inferencia entre regiones. Con SCPs ellas, puede controlar qué regiones puede utilizar Amazon Bedrock para la inferencia y, mediante las políticas de IAM, puede definir qué usuarios o roles tienen permiso para ejecutar la inferencia. Si alguna región de destino de un perfil de inferencia entre regiones está bloqueada en su perfil SCPs, la solicitud fallará aunque se sigan permitiendo otras regiones. Para garantizar un funcionamiento eficiente con la inferencia entre regiones, puede actualizar sus políticas SCPs y las de IAM para permitir todas las acciones de inferencia requeridas de Amazon Bedrock (por ejemplo, bedrock:InvokeModel* obedrock:CreateModelInvocationJob) en todas las regiones de destino incluidas en el perfil de inferencia elegido. Para obtener más información, consulte https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/ Habilitar la inferencia entre regiones de Amazon Bedrock en entornos con varias cuentas.