Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Aumente el rendimiento para aumentar la resiliencia y la potencia de procesamiento
El rendimiento se define por el número y la tasa de entradas y salidas que un modelo procesa y devuelve. Cuando invoca un modelo en Amazon Bedrock o utiliza un recurso de Amazon Bedrock que invoca un modelo, el rendimiento del modelo está sujeto a cuotas. Las cuotas dependen del modelo y de la región e incluyen los siguientes valores:
-
Solicitudes procesadas por minuto: la cantidad de solicitudes de invocación del modelo que se procesan cada minuto. La cuota tiene en cuenta la suma de las solicitudes InvokeModelInvokeModelWithResponseStream, las de Converse y ConverseStreamAPIlas solicitudes.
-
Fichas procesadas por minuto: la cantidad de fichas que se procesan por minuto. La cuota tiene en cuenta la suma de los tokens procesados para InvokeModelInvokeModelWithResponseStream, Converse o ConverseStreamAPIsolicitudes.
Amazon Bedrock ofrece los siguientes tipos de rendimiento:
-
Rendimiento bajo demanda: la opción estándar de rendimiento. Implica invocar un modelo en un entorno específico. Región de AWS Las cuotas se definen en los puntos de enlace de Amazon Bedrock y las cuotas en. Referencia general de AWS
-
Inferencia interregional bajo demanda: implica invocar un perfil de inferencia, que es una abstracción de un conjunto de recursos bajo demanda de los configurados. Regiones de AWS Un perfil de inferencia puede enrutar la solicitud de inferencia que se origina en la región de origen a otra región configurada en el grupo. El uso de la inferencia entre regiones aumenta el rendimiento y mejora la resiliencia al enrutar dinámicamente las solicitudes de invocación del modelo entre las regiones definidas en el perfil de inferencia. Factores de enrutamiento en el tráfico de usuarios, la demanda y la utilización de los recursos. Para obtener más información, consulte Mejore la resiliencia con la inferencia entre regiones.
-
Rendimiento aprovisionado: implica la compra de un nivel de rendimiento específico para un modelo en un entorno específico. Región de AWS Las cuotas de rendimiento aprovisionadas dependen de la cantidad de unidades modelo que compre. Para obtener más información, consulte Aumente la capacidad de invocación de modelos con el rendimiento aprovisionado en Amazon Bedrock.
Seleccione un tema para obtener más información sobre las opciones que tiene para aumentar el rendimiento:
Temas
