Generación aumentada de recuperación

Los modelos fundacionales suelen entrenarse sin conexión, lo que hace que el modelo sea agnóstico a cualquier dato que se cree después de entrenar el modelo. Además, los modelos fundacionales se entrenan en corpus de dominios muy generales, lo que los hace menos eficaces para tareas específicas de un dominio. Puede utilizar la generación aumentada de recuperación (RAG) para recuperar datos ajenos a un modelo fundacional y aumentar las peticiones agregando los datos recuperados relevantes en su contexto. Para obtener más información sobre las arquitecturas de los modelos de RAG, consulte Generación aumentada de recuperación para tareas de NLP con un uso intensivo de conocimientos.

Con RAG, los datos externos que se utilizan para aumentar las solicitudes pueden provenir de varias fuentes de datos, como repositorios de documentos, bases de datos o. APIs El primer paso consiste en convertir los documentos y las consultas de los usuarios en un formato compatible para realizar una búsqueda de relevancia. Para que los formatos sean compatibles, una colección de documentos (o biblioteca de conocimientos) y las peticiones enviadas por los usuarios se convierten en representaciones numéricas mediante modelos de lenguaje incrustado. La incrustación es el proceso mediante el cual el texto recibe una representación numérica en un espacio vectorial. Las arquitecturas de modelos de RAG comparan las incrustaciones de las consultas de los usuarios en el vector de la biblioteca de conocimientos. A continuación, se asocia a la petición del usuario original el contexto relevante de documentos similares de la biblioteca de conocimientos. Este mensaje aumentado se envía luego al modelo fundacional. Puede actualizar las bibliotecas de conocimientos y sus incrustaciones pertinentes de forma asíncrona.

El documento recuperado debe ser lo suficientemente grande como para contener un contexto útil que ayude a aumentar la petición, pero lo suficientemente pequeño como para caber en la longitud máxima de secuencia de la petición. Puede utilizar JumpStart modelos para tareas específicas, como el modelo General Text Embeddings (GTE) de Hugging Face, para proporcionar las incrustaciones de sus indicaciones y documentos de la biblioteca de conocimientos. Después de comparar la petición y las incrustaciones de documentos para buscar los documentos más relevantes, cree una nueva petición con el contexto complementario. A continuación, pase la petición aumentada al modelo de generación de texto que elija.

Cuadernos de ejemplo

Para obtener más información sobre las soluciones de modelos fundacionales de RAG, consulte los de cuadernos de ejemplo siguientes:

• Generación de recuperación aumentada: respuesta a preguntas utilizando modelos de generación LangChain e incrustación de Cohere procedentes de SageMaker JumpStart

• Generación de recuperación aumentada: respuesta a preguntas con -2, Pinecone y Custom Dataset LLama

• Generación de recuperación aumentada: la respuesta a las preguntas se basa en un conjunto de datos personalizado con una biblioteca de código abierto LangChain

• Generación de recuperación aumentada: respuesta a preguntas basada en un conjunto de datos personalizado

• Generación aumentada de recuperación: respuesta a preguntas con Llama-2 y modelos de incrustación de texto

• Amazon SageMaker JumpStart : incrustación de texto y similitud de oraciones

Puede clonar el repositorio de ejemplos de Amazon SageMaker AI para ejecutar los ejemplos de modelos JumpStart básicos disponibles en el entorno de Jupyter que prefiera en Studio. Para obtener más información sobre las aplicaciones que puede utilizar para crear Jupyter en SageMaker IA y acceder a él, consulte. Aplicaciones compatibles con Amazon SageMaker Studio