Aumente el rendimiento con la inferencia entre regiones

Con la inferencia entre regiones, puede elegir un perfil de inferencia entre regiones vinculado a una región geográfica específica (como EE. UU. o la UE) o puede elegir un perfil de inferencia global. Cuando elige un perfil de inferencia vinculado a una zona geográfica específica, Amazon Bedrock selecciona automáticamente el anuncio óptimo Región de AWS dentro de esa zona geográfica para procesar su solicitud de inferencia. Con los perfiles de inferencia globales, Amazon Bedrock selecciona automáticamente el anuncio óptimo Región de AWS para procesar la solicitud, lo que optimiza los recursos disponibles y aumenta el rendimiento del modelo.

Al ejecutar la inferencia del modelo en el modo bajo demanda, es posible que sus solicitudes estén restringidas por Service Quotas o durante las horas de mayor uso. La inferencia entre regiones le permite gestionar sin problemas las ráfagas de tráfico no planificadas mediante el uso de la computación en diferentes áreas. Regiones de AWS Con la inferencia entre regiones, puede distribuir el tráfico entre varias regiones, lo que permite un mayor rendimiento. Regiones de AWS

También puede aumentar el rendimiento de un modelo mediante la compra de Rendimiento aprovisionado. Los perfiles de inferencia actualmente no admiten el rendimiento aprovisionado.

Para ver las regiones y los modelos con los que puede utilizar los perfiles de inferencia para ejecutar la inferencia entre regiones, consulte. Regiones y modelos compatibles para perfiles de inferencia

Los perfiles de inferencia entre regiones (definidos por el sistema) reciben el nombre del modelo que admiten y están definidos por las regiones que admiten. Para entender cómo un perfil de inferencia interregional gestiona sus solicitudes, revise las siguientes definiciones:

• Región de origen: la región desde la que realiza la solicitud de API que especifica el perfil de inferencia.

• Región de destino: región a la que el servicio Amazon Bedrock puede dirigir la solicitud desde la región de origen.

Cuando invoca un perfil de inferencia entre regiones en Amazon Bedrock, su solicitud se origina en una región de origen y se enruta automáticamente a una de las regiones de destino definidas en ese perfil, lo que optimiza el rendimiento. Las regiones de destino de los perfiles de inferencia global entre regiones incluyen todas las regiones comerciales.

nota

Las regiones de destino de un perfil de inferencia entre regiones pueden incluir regiones opcionales, que son regiones que debe habilitar de forma explícita a nivel de organización. Cuenta de AWS Para obtener más información, consulta Cómo activar o desactivar tu cuenta Regiones de AWS. Si utilizas un perfil de inferencia entre regiones, tu solicitud de inferencia se puede dirigir a cualquiera de las regiones de destino del perfil, incluso si no has optado por utilizar dichas regiones en tu cuenta.

Las políticas de control de servicios (SCPs) y las políticas AWS Identity and Access Management (de IAM) funcionan en conjunto para controlar dónde se permite la inferencia entre regiones. Con SCPs ellas, puede controlar qué regiones puede utilizar Amazon Bedrock para la inferencia y, mediante las políticas de IAM, puede definir qué usuarios o roles tienen permiso para ejecutar la inferencia. Si alguna región de destino de un perfil de inferencia entre regiones está bloqueada en su perfil SCPs, la solicitud fallará aunque se sigan permitiendo otras regiones. Para garantizar un funcionamiento eficiente con la inferencia entre regiones, puede actualizar sus políticas SCPs y las de IAM para permitir todas las acciones de inferencia requeridas de Amazon Bedrock (por ejemplo, bedrock:InvokeModel* obedrock:CreateModelInvocationJob) en todas las regiones de destino incluidas en el perfil de inferencia elegido. Para obtener más información, consulte Habilitar la inferencia entre regiones de Amazon Bedrock en entornos con varias cuentas.

nota

Algunos perfiles de inferencia se dirigen a distintas regiones de destino en función de la región de origen desde la que se llamen. Por ejemplo, si llamas us.anthropic.claude-3-haiku-20240307-v1:0 desde EE. UU. Este (Ohio), puede enrutar las solicitudes a us-east-1us-east-2, ous-west-2, pero si llamas desde EE. UU. Oeste (Oregón), solo puede enrutar las solicitudes a us-east-1 yus-west-2.

Para comprobar si hay un perfil de inferencia en las regiones de origen y destino, puedes realizar una de las siguientes acciones:

• Amplíe la sección correspondiente de la lista de perfiles de inferencia entre regiones compatibles.

• Envíe una GetInferenceProfilesolicitud con un punto final del plano de control de Amazon Bedrock desde una región de origen y especifique el nombre del recurso de Amazon (ARN) o el ID del perfil de inferencia en el campo. inferenceProfileIdentifier El models campo de la respuesta se asigna a una lista de modelos ARNs en la que puede identificar cada región de destino.

nota

El perfil de inferencia global entre regiones para un modelo específico puede cambiar con el tiempo, ya que AWS agrega más regiones comerciales en las que se pueden procesar sus solicitudes. Sin embargo, si un perfil de inferencia está vinculado a una región geográfica (como EE. UU., la UE o APAC), su lista de regiones de destino nunca cambiará. AWS podría crear nuevos perfiles de inferencia que incorporen nuevas regiones. Puede actualizar sus sistemas para utilizar estos perfiles de inferencia cambiando IDs la configuración por una nueva.

Actualmente, el perfil de inferencia global entre regiones solo se admite en el Anthropic Claude Sonnet 4 modelo de las siguientes regiones de origen: EE. UU. Oeste (Oregón), EE. UU. Este (Norte de Virginia), EE. UU. Este (Ohio), Europa (Irlanda) y Asia Pacífico (Tokio). El perfil de inferencia de las regiones de destino de Global incluye todos los perfiles comerciales. Regiones de AWS

Tenga en cuenta la siguiente información sobre la inferencia entre regiones:

• El uso de la inferencia entre regiones no conlleva ningún coste de enrutamiento adicional. El precio se calcula en función de la región desde la que se llama al perfil de inferencia. Para obtener más información acerca de los precios, consulte Precios de Amazon Bedrock.

• Los perfiles de inferencia globales entre regiones proporcionan un rendimiento superior al de un perfil de inferencia vinculado a una zona geográfica concreta. Un perfil de inferencia vinculado a una zona geográfica concreta ofrece un rendimiento mayor que la inferencia de una sola región.

• Para ver las cuotas predeterminadas de rendimiento entre regiones cuando se utilizan perfiles de inferencia vinculados a una región geográfica (como EE. UU., UE y APAC), consulte las solicitudes de inferencia del modelo entre regiones por minuto para $ {Model} y los tokens de inferencia del modelo entre regiones por minuto para los valores de $ {Model} en las cuotas de servicio de Amazon Bedrock en la Referencia general.AWS

• Para ver las cuotas predeterminadas de rendimiento entre regiones al utilizar perfiles de inferencia globales, consulte las solicitudes de inferencia del modelo global entre regiones por minuto para $ {Model} y los tokens de inferencia del modelo transregional global por minuto para los valores de $ {Model} en las cuotas de servicio de Amazon Bedrock en la Referencia general.AWS

  Puede solicitar, ver y gestionar las cuotas del perfil de inferencia global entre regiones desde la consola Service Quotas o mediante los comandos de la AWS CLI en la región EE.UU. Este (Norte de Virginia). Tenga en cuenta que las cuotas de inferencia global entre regiones no aparecerán en la consola de Service Quotas ni en la AWS CLI para otras regiones de origen que figuran en el perfil de inferencia global.

• Las solicitudes de inferencia entre regiones a un perfil de inferencia vinculado a una región geográfica (por ejemplo, EE. UU., la UE y APAC) se mantienen dentro de las Regiones de AWS que forman parte de la geografía en la que residen originalmente los datos. Por ejemplo, una solicitud realizada en los EE. UU. se guarda dentro de los Regiones de AWS EE. UU. Aunque los datos permanecen almacenados solo en la región de origen, es posible que las solicitudes de entrada y los resultados de salida se muevan fuera de la región de origen durante la inferencia entre regiones. Todos los datos se transmitirán cifrados a través de la red segura de Amazon.

• AWS Los servicios impulsados por Amazon Bedrock también pueden usar CRIS. Consulte la documentación específica del servicio para obtener más información.

Utilice un perfil de inferencia entre regiones (definido por el sistema)

Para utilizar la inferencia entre regiones, debe incluir un perfil de inferencia al ejecutar la inferencia del modelo de las siguientes maneras:

• Inferencia de modelos bajo demanda: especifique el ID del perfil de inferencia modelId al enviar una solicitud InvokeModel, InvokeModelWithResponseStreamuna conversación o una. ConverseStream Un perfil de inferencia define una o más regiones a las que puede dirigir las solicitudes de inferencia que se originan en la región de origen. El uso de la inferencia entre regiones aumenta el rendimiento y el rendimiento al enrutar dinámicamente las solicitudes de invocación del modelo entre las regiones definidas en el perfil de inferencia. Factores de enrutamiento en el tráfico de usuarios, la demanda y la utilización de los recursos. Para obtener más información, consulte Envío de solicitudes y generación de respuestas con inferencia de modelos

• Inferencia por lotes: envíe las solicitudes de forma asíncrona con la inferencia por lotes especificando el ID del perfil de inferencia al enviar una solicitud. modelId CreateModelInvocationJob El uso de un perfil de inferencia le permite utilizar la computación en varios Regiones de AWS y lograr tiempos de procesamiento más rápidos para sus trabajos por lotes. Una vez finalizado el trabajo, puede recuperar los archivos de salida del bucket de Amazon S3 en la región de origen.

• Agentes: especifique el ID del perfil de inferencia en el foundationModel campo de una CreateAgentsolicitud. Para obtener más información, consulte Creación y configuración de agentes manualmente.

• Generación de respuestas a la base de conocimientos: puede utilizar la inferencia entre regiones al generar una respuesta después de consultar una base de conocimientos. Para obtener más información, consulte Prueba de la base de conocimientos mediante consultas y respuestas.

• Evaluación de modelos: puede enviar un perfil de inferencia como modelo para evaluarlo al enviar un trabajo de evaluación de modelos. Para obtener más información, consulte Evalúe el rendimiento de los recursos de Amazon Bedrock.

• Gestión rápida: puede utilizar la inferencia entre regiones al generar una respuesta para una solicitud que haya creado en Prompt Management. Para obtener más información, consulte Creación y almacenamiento de peticiones reutilizables con la administración de peticiones en Amazon Bedrock

• Flujos de solicitudes: puede utilizar la inferencia entre regiones al generar una respuesta para una solicitud que defina en línea en un nodo de solicitud de un flujo de solicitudes. Para obtener más información, consulte Cree un flujo de trabajo de IA end-to-end generativo con Amazon Bedrock Flows.

nota

El perfil de inferencia global es compatible con la inferencia de modelos bajo demanda, la inferencia por lotes, los agentes, la evaluación de modelos, la gestión rápida y los flujos rápidos.

Para saber cómo usar un perfil de inferencia para enviar solicitudes de invocación de modelos entre regiones, consulte. Uso de un perfil de inferencia en la invocación del modelo

Para obtener más información sobre la inferencia entre regiones, consulte Introducción a la inferencia entre regiones en Amazon Bedrock.