Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Envíe solicitudes y genere respuestas con inferencia de modelos
La inferencia se refiere al proceso de generar una salida a partir de una entrada proporcionada a un modelo. Los modelos fundacionales utilizan la probabilidad para organizar las palabras en una secuencia. Ante una entrada dada, el modelo predice una secuencia probable de tokens siguiente y devuelve esa secuencia como salida. Amazon Bedrock le ofrece la capacidad de ejecutar inferencias en el modelo fundacional que elija. Para ejecutar una inferencia, se proporciona la siguiente información:
-
Petición: una entrada que se proporciona al modelo para que genere una respuesta. Para obtener información sobre la escritura de peticiones, consulte Conceptos de ingeniería rápidos. Para obtener información sobre la protección contra los ataques de inyección inmediata, consulte. Seguridad de inyección rápida
-
Parámetros de inferencia: conjunto de valores que se pueden ajustar para limitar o influir en la respuesta del modelo. Para obtener más información acerca de los parámetros de inferencia, consulte Influya en la generación de respuestas con parámetros de inferencia y Parámetros de inferencia para modelos fundacionales.
Amazon Bedrock ofrece un conjunto de modelos básicos que puede utilizar para generar resultados de las siguientes modalidades. Para ver el soporte de modalidades por modelo básico, consulte. Modelos fundacionales compatibles en Amazon Bedrock
Modalidad de salida | Descripción | Ejemplos de casos de uso |
---|---|---|
Texto | Proporcione entrada de texto y genere varios tipos de texto | Charla question-and-answering, intercambio de ideas, resumen, generación de código, creación de tablas, formateo de datos, reescritura |
Imagen | Proporcione texto o introduzca imágenes y genere o modifique imágenes | Generación de imágenes, edición de imágenes, variación de imágenes |
Incrustaciones | Proporcione texto, imágenes o ambos, texto e imágenes y genere un vector de valores numéricos que representen la entrada. El vector de salida se puede comparar con otros vectores de incrustaciones para determinar la similitud semántica (para el texto) o la similitud visual (para las imágenes). | Búsqueda de texto e imágenes, consulta, categorización, recomendaciones, personalización y creación de bases de conocimiento |
Al realizar una inferencia, se especifica el nivel de rendimiento que se va a utilizar seleccionando un rendimiento en la consola o especificando el rendimiento en el modelId
campo de una solicitud. API El rendimiento define el número y la velocidad de los tokens de entrada y salida que se pueden procesar. Para obtener más información, consulte Aumente el rendimiento para aumentar la resiliencia y la potencia de procesamiento.
Puede ejecutar la inferencia de modelos de las siguientes maneras:
-
Utilice cualquiera de las áreas de prueba para ejecutar inferencias en una interfaz gráfica intuitiva.
Use Converse API (Converse y ConverseStream) para implementar aplicaciones conversacionales.
-
Envíe una InvokeModelsolicitud o. InvokeModelWithResponseStream
-
Prepare un conjunto de datos de peticiones con las configuraciones que desee y realice una inferencia por lotes con una solicitud
CreateModelInvocationJob
. -
Las siguientes características de Amazon Bedrock utilizan la inferencia de modelos como un paso en una organización más amplia. Consulte esas secciones para obtener más información.
-
Configure una base de conocimientos y envíe un RetrieveAndGenerate request.
-
Configura un agente y envía un InvokeAgent request.
-
Puede realizar inferencias con modelos base, modelos personalizados o modelos aprovisionados. Para ejecutar inferencias en un modelo personalizado, primero compre Rendimiento aprovisionado para el mismo (para obtener más información, consulte Aumente la capacidad de invocación de modelos con el rendimiento aprovisionado en Amazon Bedrock).
Utilice estos métodos para probar las respuestas del modelo fundacional con diferentes peticiones y parámetros de inferencia. Una vez que haya explorado suficientemente estos métodos, puede configurar su aplicación para ejecutar la inferencia de modelos llamándolos a estosAPIs.
Seleccione un tema para obtener más información sobre cómo ejecutar la inferencia de modelos mediante ese método. Para obtener más información acerca del uso de agentes, consulte Automatice las tareas en su aplicación mediante agentes conversacionales.
Temas
- Influya en la generación de respuestas con parámetros de inferencia
- Genere respuestas en una interfaz visual utilizando parques infantiles
- Envíe un único mensaje con InvokeModel
- Mantén una conversación con Converse
- Utilice una herramienta para completar una respuesta modelo de Amazon Bedrock
- Procese múltiples solicitudes con inferencia por lotes