2. ソースからの構築

前述のように、ソースからの構築は、現在の Elasticsearch 環境または OpenSearch 環境からデータを移行しないアプローチです。代わりに、ログ、製品カタログデータソース、またはコンテンツソースからターゲットドメインに直接インデックスを構築します。

ソースからの構築では、2 つのオプションを使用できます。選択するオプションは、データのデータ型によって異なります。

• AWS Database Migration Service を使用 – データのソースがリレーショナルデータベース管理システム (RDBMS) であり、ソースが AWS Database Migration Service (AWS DMS) でサポートされている場合は、AWS DMS を使用してデータソースからターゲット Amazon OpenSearch Service ドメインにデータをコピーできます。AWS DMS は、全ロードおよび変更データキャプチャ (CDC) オプションをサポートしています。全ロードオプションでは、AWS DMS のタスクがソースデータベーステーブルのすべてのデータをターゲット OpenSearch インデックスにコピーします。デフォルトのマッピングを使用するか、カスタムマッピング設定を指定できます。CDC オプションでは、AWS DMS はまずソーステーブルレコードの完全なコピーをターゲット OpenSearch インデックスに作成します。次に、変更されたデータ (更新と挿入) をキャプチャし、OpenSearch インデックスにコピーします。詳細については、ブログ記事「AWS Database Migration Service のターゲットとしての Amazon Elasticsearch Service の導入」および「AWS Database Migration Service の移行用に Amazon Elasticsearch Service を拡張する」を参照してください。

• ドキュメントソースから構築 – データソースが RDBMS でないか、AWS DMS でサポートされていない場合は、オープンソースツールを使用する、またはオープンソースツールと AWS サービスの組み合わせを使用してカスタムソリューションを作成する必要があります。OpenSearch にロードする前に、ソースデータを JSON ドキュメントに変換する必要があります。ソースから現在の Elasticsearch または OpenSearch 環境へのパイプラインが既に設定されている場合は、クライアントライブラリに適切な変更を加え、(必要に応じて) Amazon OpenSearch Service ドメインのインデックスのデータモデルを変更することで、それらのデータパイプラインを OpenSearch にポイントできます。ソースからインデックスを構築するときは、次の考慮事項に注意してください。

  • ドキュメントの場所 – ドキュメントが既に AWS クラウド、Amazon S3 などのオブジェクトストレージ、またはファイルシステムなどのオンプレミスストレージに保存されている場合があります。

  • ドキュメントの形式 – ドキュメントが既に JSON 形式である、Amazon OpenSearch Service ドメインに取り込む準備ができている、または Amazon OpenSearch Service ドメインに取り込む前にクリーンアップ、処理、JSON へのフォーマットが必要である場合があります。

ソースからの構築では、大まかに次のようなステップが必要です。

1. Amazon OpenSearch Service ドメインでインデックスマッピングと設定を定義します。

2. ドキュメントソースからデータを抽出し、Amazon S3 などのオブジェクトストレージの場所にコピーします。オープンソースのツール (Logstash など)、AWS サービスクライアント (Amazon Kinesis Agent など)、サードパーティーの市販のツール、カスタムプログラムを使用できます。

3. オープンソースのツール (Logstash や Fluent Bit など) またはネイティブ AWS サービス (AWS Lambda や AWS DMS など) を設定して、データを JSON ドキュメントに変換し、オブジェクトストアから Amazon OpenSearch Service ドメインに定期的または継続的にロードします。

詳細については、「Loading streaming data into Amazon OpenSearch Service」を参照してください。