Amazon OpenSearch Service でのデータのインデックス作成 - Amazon OpenSearch サービス
インデックスの命名制限レスポンスサイズの削減インデックスコーデック

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon OpenSearch Service でのデータのインデックス作成

Amazon OpenSearch Service は REST API を使用するため、ドキュメントのインデックス作成には多数のメソッドがあります。curl などの標準クライアントを使用することも、HTTP リクエストの送信が可能な任意のプログラミング言語を使用することもできます。操作プロセスをさらに簡素化するために、 OpenSearch Service には多くのプログラミング言語用のクライアントがあります。上級ユーザーは、直接「Amazon OpenSearch Service へのストリーミングデータのロード」に進むことができます。

Amazon OpenSearch Ingestion を使用して、 OpenSearch サービス内に構築されたフルマネージドデータコレクターであるデータを取り込むことを強くお勧めします。詳細については、「Amazon OpenSearch Ingestion」を参照してください。

インデックス作成の概要については、 OpenSearch ドキュメントを参照してください。

インデックスの命名制限

OpenSearch サービスインデックスには、次の命名制限があります。

  • すべての文字を小文字にする必要があります。

  • インデックスの名前を _ または - から始めることはできません。

  • インデックス名にスペース、カンマ、:、"、*、+、/、\、|、?、#、>、< を含めることはできません。

インデックス、タイプ、またはドキュメント ID 名に機密情報を含めないでください。 OpenSearch サービスはこれらの名前を Uniform Resource Identifiers (URIs) で使用します。サーバーおよびアプリケーションは、HTTP リクエストを頻繁に記録します。このため、URI に機密情報が含まれている場合、不要なデータ漏えいにつながる可能性があります。

2018-10-03T23:39:43 198.51.100.14 200 "GET https://opensearch-domain/dr-jane-doe/flu-patients-2018/202-555-0100/ HTTP/1.1"

関連する JSON ドキュメントを表示する許可がない場合でも、Dr. Doe の患者 (電話番号は 202-555-0100) が 2018 年にインフルエンザにかかったことを、この架空のログ行から推測することが可能です。

OpenSearch サービスがインデックス名 ( などmy-index-12.34.56.78.91) で実際の IP アドレスまたは認識された IP アドレスを検出すると、その IP アドレスはマスクされます。_cat/indices を呼び出すと、以下のレスポンスが生成されます。

green open my-index-x.x.x.x.91    soY19tBERoKo71WcEScidw 5 1 0 0   2kb  1kb

不必要な混乱を避けるため、インデックス名には IP アドレスを含めないでください。

レスポンスサイズの削減

_index および _bulk API のレスポンスには、多くの情報が含まれています。この情報は、リクエストのトラブルシューティングや、再試行ロジックの実装には役立ちますが、帯域幅を広く使用する場合があります。この例では、32 バイトのドキュメントのインデックスを作成すると、レスポンスは 339 バイト (ヘッダーを含む) になります。

PUT opensearch-domain/more-movies/_doc/1
{"title": "Back to the Future"}

レスポンス

{
  "_index": "more-movies",
  "_type": "_doc",
  "_id": "1",
  "_version": 4,
  "result": "updated",
  "_shards": {
    "total": 2,
    "successful": 2,
    "failed": 0
  },
  "_seq_no": 3,
  "_primary_term": 1
}

このレスポンスサイズは一見小さく見えますが、1 日あたり 1,000,000 ドキュメント (1 秒あたり約 11.5 ドキュメントのインデックス) を作成した場合、339 バイト/1 レスポンスは、1 か月あたり 10.17 GB のダウンロードトラフィックになります。

データ転送コストが懸念される場合は、 filter_pathパラメータを使用して OpenSearch サービスレスポンスのサイズを小さくしますが、失敗したリクエストを特定または再試行するために必要なフィールドを除外しないように注意してください。このフィールドはクライアントによって異なります。filter_path パラメータはすべての OpenSearch Service REST APIs、 _indexや APIs など、頻繁に呼び出す _bulk APIsでは特に便利です。

PUT opensearch-domain/more-movies/_doc/1?filter_path=result,_shards.total
{"title": "Back to the Future"}

レスポンス

{
  "result": "updated",
  "_shards": {
    "total": 2
  }
}

フィールドを含める代わりに、- プリフィックスを使用してフィールドを除外することができます。filter_path は、ワイルドカードもサポートしています。

POST opensearch-domain/_bulk?filter_path=-took,-items.index._*
{ "index": { "_index": "more-movies", "_id": "1" } }
{"title": "Back to the Future"}
{ "index": { "_index": "more-movies", "_id": "2" } }
{"title": "Spirited Away"}

レスポンス

{
  "errors": false,
  "items": [
    {
      "index": {
        "result": "updated",
        "status": 200
      }
    },
    {
      "index": {
        "result": "updated",
        "status": 200
      }
    }
  ]
}

インデックスコーデック

インデックスコーデックは、インデックスに格納されているフィールドを圧縮してディスクに保存する方法を決定します。インデックスコーデックは、圧縮アルゴリズムを指定する静的 index.codec 設定によって制御されます。この設定は、インデックスのシャードサイズと操作のパフォーマンスに影響します。

サポートされているコーデックとそのパフォーマンス特性のリストについては、 OpenSearch ドキュメントの「サポートされているコーデック」を参照してください。

インデックスコーデックを選択するときは、次の点を考慮してください。

  • 既存のインデックスのコーデック設定を変更する手間を省くために、新しいコーデック設定を使用する前に、本番環境以外の環境で代表的なワークロードをテストしてください。詳細については、「インデックスコーデックを変更する」を参照してください。

  • k-NN または Security Analytics インデックスに Zstandard 圧縮コーデック ("index.codec": "zstd" または "index.codec": "zstd_no_dict") を使用することはできません。