Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Generación aumentada de recuperación
Los modelos fundacionales suelen entrenarse sin conexión, lo que hace que el modelo sea agnóstico a cualquier dato que se cree después de entrenar el modelo. Además, los modelos fundacionales se entrenan en corpus de dominios muy generales, lo que los hace menos eficaces para tareas específicas de un dominio. Puede utilizar Retrieval Augmented Generation (RAG) para recuperar datos ajenos a un modelo base y aumentar las solicitudes añadiendo los datos recuperados relevantes en su contexto. Para obtener más información sobre las arquitecturas de los RAG modelos, consulte Generación aumentada mediante recuperación para tareas que requieren un uso intensivo de conocimientos
En este casoRAG, los datos externos que se utilizan para aumentar las solicitudes pueden provenir de varias fuentes de datos, como repositorios de documentos, bases de datos o. APIs El primer paso consiste en convertir los documentos y las consultas de los usuarios en un formato compatible para realizar una búsqueda de relevancia. Para que los formatos sean compatibles, una colección de documentos (o biblioteca de conocimientos) y las peticiones enviadas por los usuarios se convierten en representaciones numéricas mediante modelos de lenguaje incrustado. La incrustación es el proceso mediante el cual el texto recibe una representación numérica en un espacio vectorial. RAGlas arquitecturas de modelos comparan las incrustaciones de las consultas de los usuarios en el vector de la biblioteca de conocimientos. A continuación, se asocia a la petición del usuario original el contexto relevante de documentos similares de la biblioteca de conocimientos. Este mensaje aumentado se envía luego al modelo fundacional. Puede actualizar las bibliotecas de conocimientos y sus incrustaciones pertinentes de forma asíncrona.
El documento recuperado debe ser lo suficientemente grande como para contener un contexto útil que ayude a ampliar el mensaje, pero lo suficientemente pequeño como para caber en la longitud máxima de secuencia del mensaje. Puede utilizar JumpStart modelos para tareas específicas, como el modelo General Text Embeddings () de GTE Hugging Face, para proporcionar las incrustaciones de las indicaciones y los documentos de la biblioteca de conocimientos. Tras comparar el mensaje y las incrustaciones de documentos para encontrar los documentos más relevantes, cree un nuevo mensaje con el contexto complementario. A continuación, pase el mensaje aumentado al modelo de generación de texto que elija.
Cuadernos de ejemplo
Para obtener más información sobre las RAG soluciones de modelos básicos, consulte los siguientes cuadernos de ejemplo:
Puede clonar el repositorio de SageMaker ejemplos de Amazon
