Amazon Elasticsearch Service でのデータのインデックス作成 - Amazon Elasticsearch Service

Amazon Elasticsearch Service でのデータのインデックス作成

Elasticsearch では REST API を使用するため、ドキュメントのインデックス作成にはさまざまな方法があります。curl などの標準クライアントを使用することも、HTTP リクエストの送信が可能な任意のプログラミング言語を使用することもできます。やり取りのプロセスをさらに単純化するため、Elasticsearch には多くのプログラミング言語に対応するクライアントが用意されています。上級ユーザーは、直接「Amazon Elasticsearch Service への HTTP リクエストの署名」または「Amazon Elasticsearch Service にストリーミングデータをロードする」に進むことができます。

インデックス作成の概要については、Open Distro for Elasticsearch のドキュメントを参照してください。

インデックスの命名制限

Elasticsearch インデックスには、以下の命名制限があります。

  • すべての文字を小文字にする必要があります。

  • インデックスの名前を _ または - から始めることはできません。

  • インデックス名にスペース、カンマ、:"*+/\|?#>< を含めることはできません。

インデックス、タイプ、またはドキュメント ID 名に機密情報を含めないでください。Elasticsearch は、これらの名前を Uniform Resource Identifier (URI) で使用します。サーバーおよびアプリケーションは、HTTP リクエストを頻繁に記録します。このため、URI に機密情報が含まれている場合、不要なデータ漏えいにつながる可能性があります。

2018-10-03T23:39:43 198.51.100.14 200 "GET https://elasticsearch_domain/dr-jane-doe/flu-patients-2018/202-555-0100/ HTTP/1.1"

関連する JSON ドキュメントを表示するアクセス許可がない場合でも、Dr. Doe の患者 (電話番号は 202-555-0100) が 2018 年にインフルエンザにかかったことを、この架空のログ行から推測することが可能です。

レスポンスサイズの削減

_index および _bulk API のレスポンスには、多くの情報が含まれています。この情報は、リクエストのトラブルシューティングや、再試行ロジックの実装には役立ちますが、帯域幅を広く使用する場合があります。この例では、32 バイトのドキュメントのインデックスを作成すると、レスポンスは 339 バイト (ヘッダーを含む) になります。

PUT elasticsearch_domain/more-movies/_doc/1 {"title": "Back to the Future"}

レスポンス

{ "_index": "more-movies", "_type": "_doc", "_id": "1", "_version": 4, "result": "updated", "_shards": { "total": 2, "successful": 2, "failed": 0 }, "_seq_no": 3, "_primary_term": 1 }

このレスポンスサイズは一見小さく見えますが、1 日あたり 1,000,000 ドキュメント — 1 秒あたり約 11.5 ドキュメントのインデックス — を作成した場合、339 バイト/1 レスポンスは、1 か月あたり 10.17 GB のダウンロードトラフィックになります。

データ転送コストが懸念される場合は、filter_path パラメータを使用して Elasticsearch レスポンスのサイズを削減できますが、失敗したリクエストの識別や再試行のために必要なフィールドを除外しないように注意してください。このフィールドはクライアントによって異なります。filter_path パラメータは、すべての Elasticsearch REST API で動作しますが、頻繁に呼び出す API (例: _index_bulk API) を使用する場合に特に便利です。

PUT elasticsearch_domain/more-movies/_doc/1?filter_path=result,_shards.total {"title": "Back to the Future"}

レスポンス

{ "result": "updated", "_shards": { "total": 2 } }

フィールドを含める代わりに、- プリフィックスを使用してフィールドを除外することができます。filter_path は、ワイルドカードもサポートしています。

POST elasticsearch_domain/_bulk?filter_path=-took,-items.index._* { "index": { "_index": "more-movies", "_id": "1" } } {"title": "Back to the Future"} { "index": { "_index": "more-movies", "_id": "2" } } {"title": "Spirited Away"}

レスポンス

{ "errors": false, "items": [ { "index": { "result": "updated", "status": 200 } }, { "index": { "result": "updated", "status": 200 } } ] }