Amazon Bedrock 지식 베이스에서 S3 Vectors 사용 - Amazon Simple Storage Service
통합 개요이 통합을 사용해야 하는 경우지원되는 임베딩 모델사전 조건 및 권한S3 Vectors를 사용하여 지식 베이스 만들기지식 베이스 관리 및 쿼리제한 사항

Amazon Bedrock 지식 베이스에서 S3 Vectors 사용

참고

Amazon S3 Vectors는 Amazon Simple Storage Service의 미리 보기 릴리스이며 변경될 수 있습니다.

S3 Vectors는 Amazon Bedrock 지식 베이스 및 Amazon SageMaker AI Unified Studio와 통합되어 검색 증강 생성(RAG) 애플리케이션을 위한 벡터 스토리지를 간소화하고 그 비용을 줄입니다.

Amazon Bedrock 임베딩 모델을 S3 Vectors 작업과 통합하는 상위 수준 CLI 명령에 대한 자세한 내용은 다음을 참조하세요.

통합 개요

Amazon Bedrock에서 지식 베이스를 만들 때 S3 Vectors를 벡터 스토어로 선택할 수 있습니다. 이 통합은 다음을 제공합니다.

  • 큰 벡터 데이터세트가 있는 RAG 애플리케이션의 비용 절감

  • Amazon Bedrock의 완전관리형 RAG 워크플로와 원활하게 통합

  • Amazon Bedrock 서비스에서 처리하는 자동 벡터 관리

  • 지식 베이스 검색 작업에 대한 1초 미만의 쿼리 지연 시간

Amazon Bedrock 지식 기반은 포괄적인 완전관리형 RAG 워크플로를 제공합니다. S3 Vectors로 지식 기반을 만들면 Amazon Bedrock은 S3 데이터 소스에서 데이터를 자동으로 가져오고, 콘텐츠를 텍스트 블록으로 변환하고, 임베딩을 생성하고, 벡터 인덱스에 저장합니다. 그런 다음 지식 기반을 쿼리하고 소스 데이터에서 검색된 청크를 기반으로 응답을 생성할 수 있습니다.

이 통합을 사용해야 하는 경우

다음 사항이 필요한 경우 Amazon Bedrock 지식 베이스와 함께 S3 Vectors를 사용하는 것을 고려하세요.

  • 1초 미만의 쿼리 지연 시간이 애플리케이션 요구 사항을 충족하는 대규모 데이터세트를 위한 비용 효과적인 벡터 스토리지

  • 설명서, 정책 및 시각적 콘텐츠 내용을 검색하는 등의 사용 사례에 대한 텍스트 및 이미지 기반 문서 검색

  • 지연 시간이 매우 짧은 응답보다 스토리지 비용 최적화가 우선시되는 RAG 애플리케이션

  • S3 Vectors API 작업을 직접 학습할 필요 없는 관리형 벡터 작업 - 익숙한 Amazon Bedrock 인터페이스를 계속 사용할 수 있습니다.

  • Amazon S3의 내구성과 확장성을 갖춘 장기 벡터 스토리지

이 통합은 작성된 콘텐츠 및 이미지의 내용을 검색하고 인사이트를 추출해야 하는 RAG 애플리케이션을 구축하며, S3 Vectors의 비용상 이점이 허용 가능한 쿼리 성능 요구 사항에 부합하는 조직에 적합합니다.

지원되는 임베딩 모델

Amazon Bedrock 지식 베이스와의 S3 Vectors 통합은 다음 임베딩 모델을 지원합니다.

  • amazon.titan-embed-text-v2:0 - 텍스트 기반 임베딩의 경우

  • amazon.titan-embed-image-v1 - 이미지 및 멀티모달 임베딩의 경우

  • cohere.embed-english-v3 - 다국어 및 특수 텍스트 임베딩의 경우

사전 조건 및 권한

S3 Vectors를 사용하여 지식 베이스를 만들기 전에 다음이 있는지 확인합니다.

  • S3 Vectors 및 Amazon Bedrock 서비스 모두에 대한 적절한 IAM 권한. S3 Vectors의 IAM 권한에 대한 자세한 내용은 S3 Vectors의 Identity and Access Management 섹션을 참조하세요. Amazon Bedrock 지식 베이스 서비스 역할이 S3 Vectors에 액세스하기 위한 IAM 권한에 대한 자세한 내용은 Amazon Bedrock 사용 설명서의 Amazon S3 Vectors의 벡터 스토어에 액세스할 수 있는 권한을 참조하세요.

  • 지식 기반으로 수집하기 위해 준비된 소스 문서.

  • 임베딩 모델 요구 사항에 대한 이해.

보안 구성을 설정할 때 필요한 AWS 서비스에 액세스하기 위한 Amazon Bedrock 권한을 제공하는 IAM 역할을 선택할 수 있습니다. Amazon Bedrock이 서비스 역할을 만들도록 하거나 자체 사용자 지정 역할을 사용할 수 있습니다. 사용자 지정 역할을 사용하는 경우, 벡터 버킷 및 벡터 인덱스에 대한 액세스를 사용자 지정 역할로 제한하는 벡터 버킷 정책을 구성합니다.

필요한 권한 및 IAM 역할에 대한 자세한 내용은 Amazon Bedrock 사용 설명서의 Create a service role for Amazon Bedrock Knowledge Bases를 참조하세요. 서비스 역할에는 S3 Vectors 및 AWS KMS API 작업에 대한 권한도 있어야 합니다.

S3 Vectors를 사용하여 지식 베이스 만들기

두 가지 방법을 통해 S3 Vectors를 사용하는 지식 베이스를 만들 수 있습니다.

방법 1: Amazon Bedrock 콘솔 사용

Amazon Bedrock 콘솔에서 지식 베이스를 만들 때 벡터 스토어 옵션으로 ‘S3 벡터 버킷’을 선택할 수 있습니다. 다음과 같은 두 가지 설정 옵션이 있습니다.

  • 새 벡터 스토어를 빠르게 만들기 - Amazon Bedrock이 S3 벡터 버킷과 벡터 인덱스를 만들고 사용자에게 필요한 설정으로 구성합니다. 기본적으로 벡터 버킷은 Amazon S3 관리형 키(SSE-S3)를 사용한 서버 측 암호화를 사용합니다. 선택적으로 AWS KMS를 사용하여 버킷을 암호화할 수 있습니다. 콘솔에서 새 벡터 스토어를 빠르게 만들기에 대한 자세한 내용은 Amazon Bedrock 사용 설명서의 Create a knowledge base by connecting to a data source in Amazon Bedrock Knowledge Bases를 참조하세요.

  • 만든 벡터 스토어 선택 - 이전에 만든 계정에서 기존 S3 벡터 버킷 및 벡터 인덱스를 선택합니다. Amazon Bedrock 지식 베이스 콘솔에서 S3 벡터 버킷 및 벡터 인덱스를 만드는 것에 대한 자세한 내용은 Amazon Bedrock 사용 설명서의 Prerequisites for using a vector store you created for a knowledge base에서 S3 Vectors 탭을 참조하세요.

단계별 지침은 Amazon Bedrock 사용 설명서의 Create a knowledge base by connecting to a data source in Amazon Bedrock Knowledge Bases를 참조하세요.

방법 2: Amazon SageMaker Unified Studio 사용

Amazon SageMaker AI Unified Studio에서 Amazon Bedrock을 통해 S3 Vectors를 사용하여 지식 베이스를 만들고 관리할 수도 있습니다. 이를 통해 지식 베이스를 사용하는 AI 애플리케이션을 구축하고 테스트하기 위한 통합 개발 환경을 제공할 수 있습니다.

SageMaker AI Unified Studio의 Amazon Bedrock은 통합 노트북 기능이 필요하고 여러 AWS ML 및 분석 서비스에 걸쳐 작업하는 사용자를 위해 설계되었습니다. 생성형 AI 애플리케이션을 구축할 때 S3 벡터 버킷을 빠르게 만들고 이를 지식 베이스의 벡터 스토어로 구성할 수 있습니다.

SageMaker AI Unified Studio에서 Amazon Bedrock과 함께 S3 Vectors를 사용하는 것에 대한 자세한 내용은 SageMaker AI Unified Studio 사용 설명서의 Add a data source to your Amazon Bedrock app을 참조하세요.

지식 베이스 관리 및 쿼리

데이터 동기화 및 관리

Amazon Bedrock 지식 베이스는 데이터 소스와 벡터 임베딩을 동기화된 상태로 유지하기 위한 수집 작업을 제공합니다. 데이터 소스를 동기화하면 Amazon Bedrock은 각 문서를 스캔하여 벡터 스토어로 인덱싱되었는지 확인합니다. IngestKnowledgeBaseDocuments 작업을 사용하여 벡터 스토어로 문서를 직접 인덱싱할 수도 있습니다. 데이터 동기화를 보장하기 위해 각 지식 베이스에 대해 별도의 벡터 스토어를 만드는 것이 좋습니다.

지식 베이스 또는 데이터 소스 리소스를 삭제할 때 Amazon Bedrock은 Delete(기본값) 및 Retain의 두 가지 데이터 삭제 정책을 제공합니다. Delete 정책을 선택하면 벡터 인덱스 및 벡터 버킷의 벡터가 자동으로 삭제됩니다.

쿼리 및 검색

지식 베이스를 설정한 후 다음을 수행할 수 있습니다.

  • API 검색 작업을 사용하여 소스 데이터에서 청크를 검색합니다.

  • RetrieveAndGenerate API 작업을 사용하여 검색된 청크를 기반으로 응답을 생성합니다.

  • Amazon Bedrock 콘솔에서 직접 쿼리를 테스트합니다.

응답은 원본 소스 데이터에 대한 인용과 함께 반환됩니다.

제한 사항

Amazon Bedrock 지식 베이스와 함께 S3 Vectors를 사용하는 경우 다음 제한 사항을 염두에 두어야 합니다.

  • 시맨틱 검색 전용: S3 Vectors는 시맨틱 검색을 지원하지만 하이브리드 검색 기능은 지원하지 않습니다.

  • S3 Vectors 크기 제한: 각 벡터에는 메타데이터 전체 크기 제한과 필터링 가능한 메타데이터에 대한 크기 제한이 있어, 사용자 지정 메타데이터 및 필터링 옵션에 제약이 따를 수 있습니다. 벡터당 메타데이터 및 필터링 가능한 메타데이터의 크기 제한에 대한 자세한 내용은 한계 및 제한 섹션을 참조하세요.

  • 청크 전략 제약 조건: 메타데이터 크기 제한으로 인해 콘텐츠를 최대 500개의 토큰 청크로 분할하는 모델로 제한됩니다.

  • 부동 소수점 벡터만: 바이너리 벡터 임베딩은 지원되지 않습니다.

Amazon Bedrock 지식 베이스 작업에 대한 포괄적인 지침은 Amazon Bedrock 사용 설명서의 Retrieve data and generate AI responses with Amazon Bedrock Knowledge Bases를 참조하세요.