Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
nota
El enrutamiento rápido inteligente en Amazon Bedrock está en versión preliminar y está sujeto a cambios.
El enrutamiento rápido inteligente de Amazon Bedrock proporciona un único punto final sin servidor para enrutar de manera eficiente las solicitudes entre diferentes modelos fundamentales dentro de la misma familia de modelos. Puede ayudarlo a optimizar la calidad y el costo de la respuesta. Ofrecen una solución integral para gestionar varios modelos de IA a través de un único punto final sin servidor, lo que le simplifica el proceso. El enrutamiento rápido e inteligente predice el rendimiento de cada modelo para cada solicitud y dirige dinámicamente cada solicitud al modelo que predice que tiene más probabilidades de dar la respuesta deseada al menor costo. Con el enrutamiento rápido e inteligente, Amazon Bedrock puede ayudarlo a crear aplicaciones de IA generativas mediante el uso de una combinación de modelos fundamentales para obtener un mejor rendimiento a un costo menor que un modelo básico único.
Para aprovechar al máximo el enrutamiento rápido inteligente, debería revisar periódicamente el rendimiento para aprovechar las ventajas de los nuevos modelos. Para optimizar su uso, supervise las métricas de rendimiento y costo disponibles.
Para empezar a utilizar el enrutamiento rápido inteligente, utilice la consola Amazon Bedrock AWS CLI, o AWS SDK.
Durante la vista previa, puede optar por utilizar modelos seleccionados de las familias Anthropic y Meta.
El enrutamiento rápido inteligente ofrece las siguientes ventajas.
-
Le ayuda a optimizar la calidad y el costo de la respuesta al enrutar las indicaciones a diferentes modelos básicos.
-
Puede ayudar a mejorar el rendimiento general al aprovechar los puntos fuertes de varios modelos.
-
Administración simplificada sin necesidad de una lógica de orquestación compleja.
-
Prepárese para el futuro incorporando nuevos modelos a medida que estén disponibles.
Cómo funciona el enrutamiento rápido inteligente
-
Elija la familia de modelos que desee utilizar.
-
Para cada solicitud entrante, el enrutamiento rápido inteligente predice el rendimiento de cada modelo especificado.
-
Amazon Bedrock elige de forma dinámica el modelo que predice que ofrecerá la mejor combinación de calidad de respuesta y coste.
-
Amazon Bedrock envía la solicitud al modelo que haya elegido para su procesamiento.
-
Recibirá la respuesta, que también contiene información sobre el modelo que eligió Amazon Bedrock.
Consideraciones y limitaciones
Las siguientes son consideraciones y limitaciones para el enrutamiento rápido inteligente en Amazon Bedrock.
-
Durante la vista previa, solo puede elegir entre enrutadores preconfigurados.
-
Actualmente, el enrutamiento rápido inteligente solo acepta indicaciones en inglés.
-
El enrutamiento rápido inteligente no puede ajustar las decisiones o respuestas de enrutamiento en función de los datos de rendimiento específicos de la aplicación.
-
Es posible que el enrutamiento rápido inteligente no siempre proporcione el enrutamiento más óptimo para casos de uso únicos o especializados. La eficacia del enrutamiento depende de los datos de entrenamiento iniciales.
