ベクトルの概要

ベクトルは、マシンがデータを理解して処理するのに役立つ数値表現です。生成 AI では、2 つの主要な目的があります。

• データ構造を圧縮形式でキャプチャする潜在スペースを表す

• 単語、文、画像などのデータの埋め込みの作成

Word2Vec、GloVe、Amazon Titan Text Embeddings などの埋め込みモデルは、埋め込みと呼ばれるプロセスを通じてデータをベクトルに変換します。これらの埋め込みモデルでは、以下を実行できます。

• コンテキストから学び、単語をベクトルとして表現します。

• 同様の単語をベクトル空間に近づけます。

• マシンが連続スペース内のデータを処理できるようにします。

次の図は、埋め込みプロセスの概要を示しています。

1. Amazon Simple Storage Service (Amazon S3) バケットには、システムが情報を読み取って処理するデータソースであるファイルが含まれています。S3 バケットは、Amazon Bedrock ナレッジベース設定中に指定されます。これには、ナレッジベースとのデータの同期も含まれます。

2. 埋め込みモデルは、S3 バケット内のオブジェクトファイルからの raw データをベクトル埋め込みに変換します。たとえば、Object1 はベクトル [0.6、0.7、...] に変換され、多次元空間内のコンテンツを表します。

単語の埋め込みは、自然言語処理 (NLP) では以下を行うため、重要です。

• 単語間のセマンティック関係をキャプチャします。

• コンテキストに関連するテキストの生成を有効にします。

• 大規模言語モデル (LLMs) を強化して人間のようなレスポンスを生成します。