ベクトル取り込み - Amazon OpenSearch Service
仕組みOpenSearch Vector 取り込み料金前提条件ベクトルデータベースを作成する関連機能

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ベクトル取り込み

ベクトル取り込みは、OpenSearch ドメインと OpenSearch Serverless コレクションの迅速な取り込みとインデックス作成に役立ちます。サービスはドメインまたはコレクションを調べ、ユーザーに代わって取り込みパイプラインを作成して OpenSearch にデータをロードします。ドメインまたはコレクションの取り込みとインデックス作成は、ベクトル取り込みによって管理されます。

および 自動最適化機能を有効にすることで、インデックス作成プロセスを高速化ベクトルインデックス作成の GPU アクセラレーションおよび最適化できます。ベクトル取り込みでは、ベクトルデータベースのインデックス作成と取り込みをサポートするために、基盤となるインフラストラクチャ、パッチソフトウェア、スケーリングクラスターを管理する必要はありません。これにより、ニーズに合わせてベクトルデータベースをすばやく構築できます。

仕組み

ベクトル取り込みは、ドメインまたはコレクションとそのインデックスを調べます。ベクトルインデックスフィールドを手動で設定することも、OpenSearch が自動設定を使用できるようにすることもできます。

ベクトル取り込みはAmazon S3と OpenSearch 間のデータパイプラインとして OpenSearch Ingestion (OSI) を使用します。このサービスはベクトルを並行して処理し、OSI と OpenSearch の両方のスケーリング制限を尊重しながら取り込み速度を最適化します。

OpenSearch Vector 取り込み料金

特定の時点では、パイプラインを流れるデータがあるかどうかにかかわらず、パイプラインに割り当てられたベクトル取り込み OCUs の数に対してのみ料金が発生します。OpenSearch ベクトル取り込みは、使用量に基づいてパイプライン容量をスケールアップまたはスケールダウンすることで、ワークロードに即座に対応します。

料金の詳細については、「Amazon OpenSearch Service の料金」を参照してください。

前提条件

ベクトル取り込みを使用する前に、次のリソースがあることを確認してください。

  • OpenSearch JSON ドキュメントを Parquet 形式で含む Amazon S3 バケット

  • OpenSearch リソース - ドメインまたはコレクション

  • OpenSearch バージョン 2.19以降 (自動最適化統合に必要)

ベクトルデータベースを作成する

ベクトル取り込みジョブ作成ワークフローを使用して、自動ベクトルインデックス調整を設定し、大規模なインデックス構築を高速化します。

注記

このセクションの手順の内容は、ユーザーインターフェイスが確定されると変更される可能性があります。ワークフローは、最新のコンソールエクスペリエンスを反映するために、今後のリリースで更新される可能性があります。

ベクトルインジェクションジョブを作成するには

  1. 「ベクトル取り込みジョブの詳細」セクションの「名前」に、取り込みジョブの名前を入力します。

  2. データソースセクションで、以下を設定します。

    1. Amazon S3 URI の場合は、OpenSearch Service JSON ドキュメントを含む Amazon S3 バケットの場所を入力します。

    2. Amazon S3 を参照を選択して使用可能なバケットから選択するか、表示を選択してバケットコンテンツをプレビューします。

    3. コンテンツタイプで、次のいずれかを選択します。

      • ベクトル - ドキュメントには既にベクトルが含まれており、それ以上のベクトル埋め込みの生成は必要ありません。

      • テキスト、イメージ、またはオーディオ - ドキュメントには、ベクトル埋め込みにエンコードする必要があるテキスト、イメージ、またはオーディオバイトなどのコンテンツが含まれています。

  3. データソースのアクセス許可セクションで、アクセス許可を設定します。

    1. [IAM role] (IAM ロール) で、以下のいずれかのオプションを選択します。

      • 新規ロールの作成

      • 既存のロールを使用する

    2. IAM ロール名には、ロールの名前を入力します。

  4. 送信先セクションで、OpenSearch Service エンドポイントを設定します。

    1. Endpoint で、現在のリージョンの互換性のあるドメインまたはコレクションから選択するオプションを選択します。

    2. 次へ を選択して、選択したエンドポイントを続行します。

  5. Next を選択して次のステップに進むか、Cancel を選択して保存せずに終了します。

ベクトル取り込みは、次の Amazon OpenSearch Service 機能と連携してベクトルデータベースのパフォーマンスを最適化します。

ベクトルインデックス作成の GPU アクセラレーション

GPU アクセラレーションにより、ベクトルインデックスの作成、更新、削除に必要な時間が短縮されます。ベクトル取り込みと共に使用すると、大規模なベクトルデータベースの取り込みとインデックス作成プロセスを大幅に高速化できます。

自動最適化

自動最適化は、検索レイテンシー、品質、メモリ要件の間の最適なトレードオフを自動的に検出します。ベクトル取り込みは、取り込みプロセス中に自動最適化レコメンデーションを適用して、ベクトルインデックスが最適に設定されるようにできます。

最良の結果を得るには、ベクトル取り込みを使用して大規模なベクトルデータベースを構築するときに、GPU 加速と自動最適化の両方を有効にすることを検討してください。