사용자 지정 문서 쿼리를 위한 생성형 AI 옵션

조직에는 정형 및 비정형 데이터의 다양한 소스가 있는 경우가 많습니다. 이 가이드에서는 생성형 AI를 사용하여 비정형 데이터의 질문에 답변하는 방법을 중점적으로 다룹니다.

조직의 비정형 데이터는 다양한 소스에서 가져올 수 있습니다. 여기에는 PDFs, 텍스트 파일, 내부 Wiki, 기술 문서, 공개 웹 사이트, 지식 기반 등이 포함될 수 있습니다. 비정형 데이터에 대한 질문에 답변할 수 있는 파운데이션 모델을 원하는 경우 다음 옵션을 사용할 수 있습니다.

• 사용자 지정 문서 및 기타 훈련 데이터를 사용하여 새 파운데이션 모델 훈련

• 사용자 지정 문서의 데이터를 사용하여 기존 파운데이션 모델 미세 조정

• 질문을 할 때 컨텍스트 내 학습을 사용하여 파운데이션 모델에 문서를 전달합니다.

• 검색 증강 생성(RAG) 접근 방식 사용

사용자 지정 데이터가 포함된 새로운 파운데이션 모델을 처음부터 훈련시키는 것은 야심찬 작업입니다. BloombergGPT 모델Bloomberg과 같이 성공적으로 수행한 회사는 몇 개입니다. 또 다른 예는 텍스트와 함께 6LG AI Research,000억 개의 아트워크와 2억 5천만 개의 고해상도 이미지를 사용하여 훈련된의 멀티모달 EXAONE 모델입니다. The Cost of AI: Should You Build or Buy Your Foundation Model(LinkedIn)에 따르면 교육 Meta Llama 2 비용은 약 480만 USD입니다. 모델을 처음부터 훈련하기 위한 두 가지 기본 사전 조건은 리소스(재무, 기술, 시간)에 대한 액세스와 명확한 투자 수익입니다. 이것이 적합한 것 같지 않으면 다음 옵션은 기존 파운데이션 모델을 미세 조정하는 것입니다.

기존 모델을 미세 조정하려면 Amazon Titan, Mistral 또는 Llama 모델과 같은 모델을 만든 다음 사용자 지정 데이터에 맞게 모델을 조정해야 합니다. 미세 조정에는 다양한 기법이 있으며, 대부분 모델의 모든 파라미터를 수정하는 대신 몇 개의 파라미터만 수정하는 것이 포함됩니다. 이를 파라미터 효율적인 미세 조정이라고 합니다. 미세 조정에는 두 가지 기본 방법이 있습니다.

• 감독 미세 조정은 레이블이 지정된 데이터를 사용하며 새로운 종류의 작업을 위해 모델을 훈련하는 데 도움이 됩니다. 예를 들어 PDF 양식을 기반으로 보고서를 생성하려는 경우 충분한 예제를 제공하여 모델을 교육해야 할 수 있습니다.

• 비지도 미세 조정은 작업에 구애받지 않으며 파운데이션 모델을 자체 데이터에 맞게 조정합니다. 문서의 컨텍스트를 이해할 수 있도록 모델을 훈련합니다. 그런 다음 미세 조정된 모델은 조직의 사용자 지정 스타일을 사용하여 보고서와 같은 콘텐츠를 생성합니다.

그러나 미세 조정은 질문 답변 사용 사례에는 적합하지 않을 수 있습니다. 자세한 내용은이 안내서의 RAG 비교 및 미세 조정을 참조하세요.

질문할 때 파운데이션 모델을 문서로 전달하고 모델의 컨텍스트 내 학습을 사용하여 문서에서 답변을 반환할 수 있습니다. 이 옵션은 단일 문서의 임시 쿼리에 적합합니다. 그러나이 솔루션은 여러 문서를 쿼리하거나 Microsoft SharePoint 또는 Atlassian Confluence와 같은 시스템 및 애플리케이션을 쿼리하는 데는 적합하지 않습니다.

마지막 옵션은 RAG를 사용하는 것입니다. RAG를 사용하면 파운데이션 모델은 응답을 생성하기 전에 사용자 지정 문서를 참조합니다. RAG는 모델을 재훈련할 필요 없이 모델의 기능을 조직의 내부 지식 기반까지 확장합니다. 다양한 컨텍스트에서 관련성, 정확성 및 유용성을 유지하도록 모델 출력을 개선하는 비용 효율적인 접근 방식입니다.

이 섹션의 주제:

• 검색 증강 생성 이해

• 검색 증강 생성 및 미세 조정 비교

• 검색 증강 생성 사용 사례