検索拡張生成

基盤モデルは通常オフラインでトレーニングされるため、モデルはモデルのトレーニング後に作成されたどのデータにも依存しません。さらに、基盤モデルは非常に一般的なドメインコーパスでトレーニングされるため、ドメイン固有のタスクにはあまり効果的ではありません。取得拡張生成 (RAG) を使用して、基盤モデル外からデータを取得し、コンテキスト内で取得した関連するデータを追加することでプロンプトを補強できます。RAG モデルアーキテクチャの詳細については、「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」を参照してください。

ではRAG、プロンプトの拡張に使用される外部データは、ドキュメントリポジトリ、データベース、 など、複数のデータソースから取得できますAPIs。最初のステップは、関連性検索を実行するために、ドキュメントとユーザークエリを互換性のある形式に変換することです。形式を互換性のあるものにするために、ドキュメントコレクションまたはナレッジライブラリ、およびユーザーが送信したクエリを、埋め込み言語モデルを使用して数値表現に変換します。埋め込みは、ベクトル空間でテキストを数値表現するプロセスです。 RAGモデルアーキテクチャは、ナレッジライブラリのベクトル内のユーザークエリの埋め込みを比較します。その後、元のユーザープロンプトに、ナレッジライブラリ内の類似ドキュメントからの関連コンテキストが追加されます。次に、この拡張プロンプトが基盤モデルに送信されます。ナレッジライブラリと関連する埋め込みは非同期で更新できます。

取得するドキュメントは、プロンプトの補完に役立つコンテキストを含む程度には大きく、プロンプトの最大シーケンス長に収まる程度に小さい必要があります。の一般的なテキスト埋め込み (GTE) JumpStart モデルなど、タスク固有のモデルを使用できます。Hugging Face、プロンプトとナレッジライブラリドキュメントの埋め込みを提供します。プロンプトとドキュメントの埋め込みを比較して最も関連性の高いドキュメントを特定したら、補足コンテキストを加味した新しいプロンプトを作成します。その後、拡張したプロンプトを、選択したテキスト生成モデルに渡します。

サンプルノートブックの例

RAG 基盤モデルソリューションの詳細については、次のサンプルノートブックを参照してください。

• 検索拡張生成: と Cohere の からの生成および埋め込みモデルを使用した LangChain質問への回答 SageMaker JumpStart

• 検索拡張生成: LLama-2、Pinecone、カスタムデータセットを使用した質問回答

• 検索拡張生成: オープンソース LangChain ライブラリを使用したカスタムデータセットに基づく質問回答

• 取得拡張生成: カスタムデータセットに基づく質問回答

• Retrieval-Augmented Generation: Question Answering using Llama-2 and Text Embedding Models

• Amazon SageMaker JumpStart - テキスト埋め込みとセンテンス類似性

Amazon SageMaker AI サンプルリポジトリのクローンを作成して、Studio 内で選択した Jupyter 環境で利用可能な JumpStart 基盤モデルの例を実行できます。 SageMaker AI で Jupyter を作成およびアクセスするために使用できるアプリケーションの詳細については、「」を参照してくださいAmazon SageMaker Studio でサポートされているアプリケーション。