Uso de S3 Vectors con Bases de conocimientos de Amazon Bedrock

nota

Amazon S3 Vectors se encuentra en versión preliminar para Amazon Simple Storage Service y está sujeto a cambios.

S3 Vectors se integra con Bases de conocimientos de Amazon Bedrock y Estudio unificado de Amazon SageMaker AI para simplificar y reducir el costo del almacenamiento vectorial para aplicaciones de generación aumentada por recuperación (RAG).

Para obtener más información sobre los comandos de la CLI de alto nivel que integran los modelos de incrustación de Amazon Bedrock con las operaciones de S3 Vectors, consulte .

Información general de la integración

Al crear una base de conocimientos en Amazon Bedrock, puede seleccionar S3 Vectors como el almacén vectorial. Esta integración proporciona lo siguiente:

• Ahorro de costos para aplicaciones RAG con grandes conjuntos de datos vectoriales.

• Perfecta integración con el flujo de trabajo RAG totalmente administrado de Amazon Bedrock.

• Administración automática de vectores de la que se ocupa el servicio Amazon Bedrock.

• Latencia de consulta inferior a un segundo para operaciones de recuperación de bases de conocimientos.

Bases de conocimientos de Amazon Bedrock proporciona un flujo de trabajo RAG de extremo a extremo totalmente administrado. Cuando crea una base de conocimiento con S3 Vectors, Amazon Bedrock recupera automáticamente los datos del origen de datos de S3, convierte el contenido en bloques de texto, genera incrustaciones y las almacena en el índice vectorial. A continuación, puede consultar la base de conocimientos y generar respuestas basadas en fragmentos recuperados de los datos de origen.

Cuándo utilizar esta integración

Considere la posibilidad de utilizar S3 Vectors con Bases de conocimientos de Amazon Bedrock cuando necesite lo siguiente:

• Almacenamiento vectorial económico para conjuntos de datos grandes en los que la latencia de consulta inferior a un segundo cumple los requisitos de la aplicación.

• Recuperación de documentos basados en texto e imágenes para casos de uso como la búsqueda en manuales, políticas y contenido visual.

• Aplicaciones RAG que dan prioridad a la optimización del costo de almacenamiento frente a las respuestas de latencia ultrabaja.

• Operaciones de vectores administradas sin necesidad de aprender directamente las operaciones de la API de vectores de S3: puede seguir utilizando las interfaces conocidas de Amazon Bedrock.

• Almacenamiento vectorial a largo plazo con la durabilidad y la escalabilidad de Amazon S3

Esta integración es ideal para organizaciones que crean aplicaciones RAG que necesitan buscar y extraer información de contenido escrito e imágenes, donde las ventajas de costo de S3 Vectors se alinean con los requisitos de rendimiento de consulta aceptables.

Modelos de incrustación admitidos

La integración de S3 Vectors con Bases de datos de Amazon Bedrock admite los siguientes modelos de incrustación:

• amazon.titan-embed-text-v2:0: para incrustaciones basadas en texto

• amazon.titan-embed-image-v1: para incrustaciones de imágenes y multimodales

• cohere.embed-english-v3: para incrustaciones de texto multilingües y especializadas

Requisitos previos y permisos

Antes de crear una base de conocimientos con S3 Vectors, asegúrese de que dispone de lo siguiente:

• Permisos de IAM adecuados tanto para S3 Vectors como para los servicios de Amazon Bedrock. Para obtener más información sobre los permisos de IAM para S3 Vectors, consulte Administración de identidades y accesos en S3 Vectors. Para obtener más información sobre los permisos de IAM para que el rol de servicio de Bases de conocimientos de Amazon Bedrock acceda a S3 Vectors, consulte Permisos para acceder al almacén vectorial en Amazon S3 Vectors en la Guía del usuario de Amazon Bedrock.

• Los documentos de origen preparados para la ingesta en la base de conocimientos.

• Comprensión de los requisitos del modelo de incrustación.

Al establecer las configuraciones de seguridad, puede elegir un rol de IAM que proporcione a Amazon Bedrock permiso para acceder a los servicios de AWS necesarios. Puede permitir que Amazon Bedrock cree el rol de servicio o utilizar un rol personalizado propio. Si utiliza un rol personalizado, configure una política de bucket vectorial que restrinja el acceso al bucket vectorial y al índice vectorial al rol personalizado.

Para obtener información detallada sobre los permisos necesarios y los roles de IAM, consulte Creación de un rol de servicio para Bases de conocimientos de Amazon Bedrock en la Guía del usuario de Amazon Bedrock. El rol de servicio también debe tener permisos para S3 Vectors y las operaciones de la API AWS KMS.

Creación de una base de conocimientos con S3 Vectors

Puede crear una base de conocimientos que utilice S3 Vectors a través de dos métodos.

Método 1: mediante la consola de Amazon Bedrock

Al crear una base de conocimientos en la consola de Amazon Bedrock, puede elegir “Bucket vectorial de S3” como opción de almacén vectorial. Dispone de dos opciones de configuración:

• Crear rápidamente un nuevo almacén vectorial: Amazon Bedrock crea un bucket vectorial de S3 y un índice vectorial y establece la configuración necesaria. De forma predeterminada, el bucket vectorial se cifra mediante el cifrado del servidor con claves administradas por Amazon S3 (SSE-S3). Opcionalmente, puede cifrar el bucket mediante AWS KMS. Para obtener más información sobre cómo crear rápidamente un nuevo almacén vectorial en la consola, consulte Creación de una base de conocimientos mediante la conexión a un origen de datos en Bases de conocimientos de Amazon Bedrock en la Guía del usuario de Amazon Bedrock.

• Elegir un almacén vectorial que haya creado: elija un bucket vectorial y un índice vectorial de S3 existentes de la cuenta que haya creado anteriormente. Para obtener más información sobre cómo crear un bucket vectorial de S3 y un índice vectorial en la consola de Bases de conocimientos de Amazon Bedrock, consulte la pestaña S3 Vectors en Requisitos previos para utilizar un almacén vectorial creado para una base de conocimientos en la Guía del usuario de Amazon Bedrock.

Para obtener instrucciones detalladas paso a paso, consulte Creación de una base de conocimientos mediante la conexión a un origen de datos en Bases de conocimientos de Amazon Bedrock en la Guía del usuario de Amazon Bedrock.

Método 2: uso de Estudio unificado de Amazon SageMaker

También puede crear y administrar bases de conocimientos con S3 Vectors a través de Amazon Bedrock en Estudio unificado de Amazon SageMaker AI. Esto proporciona un entorno de desarrollo unificado para crear y probar aplicaciones de IA que utilizan bases de conocimientos.

Amazon Bedrock en Estudio unificado de SageMaker AI se ha diseñado para usuarios que necesitan capacidades de cuadernos integradas y trabajan con varios servicios de ML y análisis de AWS. Puede crear rápidamente un bucket vectorial de S3 y configurarlo como almacén vectorial para las bases de conocimientos cuando cree aplicaciones de IA generativa.

Para obtener información sobre cómo utilizar S3 Vectors con Amazon Bedrock en Estudio unificado de SageMaker AI, consulte Adición de un origen de datos a la aplicación de Amazon Bedrock en la Guía del usuario de Estudio unificado de SageMaker AI.

Administración y consulta de la base de conocimientos

Sincronización y administración de datos

Bases de conocimientos de Amazon Bedrock ofrece operaciones de trabajos de ingesta para mantener sincronizados el origen de datos y las incrustaciones vectoriales. Cuando sincroniza el origen de datos, Amazon Bedrock analiza cada documento y verifica si se ha indexado en el almacén vectorial. También puede indexar documentos directamente en el almacén vectorial mediante la operación IngestKnowledgeBaseDocuments. La práctica recomendada es crear un almacén vectorial independiente para cada base de conocimientos a fin de garantizar la sincronización de los datos.

Cuando elimina una base de conocimientos o un recurso de origen de datos, Amazon Bedrock ofrece dos políticas de eliminación de datos: Delete (predeterminada) y Retain. Si elige la política Delete, los vectores del índice vectorial y del bucket vectorial se eliminan automáticamente.

Consulta y recuperación

Una vez configurada la base de conocimientos, puede hacer lo siguiente:

• Recuperar fragmentos de los datos de origen mediante la operación de la API Retrieve.

• Generar respuestas basadas en fragmentos recuperados mediante la operación de la API RetrieveAndGenerate.

• Probar consultas directamente en la consola de Amazon Bedrock.

Las respuestas se devuelven con citas a los datos de origen originales.

Limitaciones

Al utilizar S3 Vectors con Bases de conocimientos de Amazon Bedrock, debe conocer las siguientes limitaciones:

• Solo búsqueda semántica: S3 Vectors admite la búsqueda semántica, pero no las capacidades de búsqueda híbrida.

• Límites de tamaño de S3 Vectors: cada vector tiene un límite de tamaño de metadatos total y un límite de tamaño para los metadatos filtrables, lo que puede limitar los metadatos personalizados y las opciones de filtrado. Para obtener más información sobre los límites de tamaño de los metadatos y los metadatos filtrables por vector, consulte Restricciones y limitaciones.

• Restricciones de la estrategia de fragmentación: limitada a modelos que dividen el contenido en fragmentos de hasta 500 tokens debido a las restricciones de tamaño de los metadatos.

• Solo vectores de punto flotante: no se admiten incrustaciones vectoriales binarias.

Para obtener una guía completa sobre cómo trabajar con Bases de conocimientos de Amazon Bedrock, consulte Recuperación de datos y generación de respuestas de IA con Bases de conocimientos de Amazon Bedrock en la Guía del usuario de Amazon Bedrock.