制限事項クラスター間検索の前提条件クラスター間検索の料金接続のセットアップ接続の削除セキュリティのセットアップとサンプルチュートリアル OpenSearch ダッシュボード

Amazon OpenSearch Service でのクラスター間検索

Amazon OpenSearch Service でのクラスター間検索では、接続された複数のドメインでクエリと集計を実行できます。さまざまなタイプのワークロードを実行している場合には特に、単一の大きなドメインではなく、複数の小さなドメインを使用する方が合理的です。

ワークロード固有のドメインを使用すると、次のタスクを実行できます。

特定のワークロードのインスタンスタイプを選択することにより、各ドメインを最適化する。
ワークロード間で障害分離の境界を確立する。これは、ワークロードの 1 つに障害が発生しても、その障害はその特定のドメイン内で食い止められ、他のワークロードに影響しないことを意味します。
ドメイン間でより簡単にスケーリングできる。

クラスター間検索は OpenSearch Dashboards をサポートしているため、すべてのドメインにわたって視覚化とダッシュボードを作成できます。ドメイン間で転送される検索結果には、標準の AWS データ転送料金がかかります。

注記

オープンソースには、クラスター間検索に関するドキュメント OpenSearch もあります。オープンソースクラスターのセットアップは、マネージド Amazon OpenSearch Service ドメインとは大きく異なります。特に、 OpenSearch サービスでは、cURL AWS Management Console ではなくを使用してクラスター間接続を設定します。さらに、マネージドサービスは、きめ細かなアクセスコントロールに加えて、クラスター間認証に AWS Identity and Access Management (IAM) を使用します。したがって、オープンソースのドキュメントではなくこの OpenSearch ドキュメントを使用して、ドメインのクラスター間検索を設定することをお勧めします。

制限事項

クラスター間検索には、以下に示す重要な制限事項があります。

Elasticsearch ドメインを OpenSearch ドメインに接続することはできません。
セルフマネージド OpenSearch/Elasticsearch クラスターに接続することはできません。
リージョン間でドメインを接続するには、両方のドメインが Elasticsearch 7.10 以降または上にある必要があります OpenSearch。
ドメインでは、最大 20 の送信接続が可能です。同様に、ドメインでは最大 20 の着信接続が可能です。つまり、1 つのドメインは、最大 20 の他のドメインに接続できます。
ソースドメインは、宛先ドメインと同じかそれ以降のバージョンである必要があります。2 つのドメイン間で双方向接続を設定し、その一方または両方をアップグレードする場合は、まず接続の 1 つを削除する必要があります。
クラスター間検索で、カスタム辞書や SQL を使用することはできません。
を使用してドメイン AWS CloudFormation を接続することはできません。
M3 インスタンスとバースト可能 (T2 および T3) インスタンスではクラスター間検索は使用できません。

クラスター間検索の前提条件

クラスター間検索をセットアップする前に、ドメインが次の要件を満たしていることを確認してください。

2 つの OpenSearch ドメイン、またはバージョン 6.7 以降の Elasticsearch ドメイン
Fine-grained access controlが有効
N ode-to-node 暗号化が有効

クラスター間検索の料金

ドメインをまたがって検索する場合も、追加料金はかかりません。

接続のセットアップ

"ソース" ドメインは、クラスター間検索リクエストが発生したドメインを指します。つまり、ソースドメインは、ユーザーからの最初の検索リクエストの送信先です。

"ターゲット" ドメインは、ソースドメインから照会するドメインです。

クラスター間の接続は、ソースからターゲットドメインへの単方向のみです。つまり、ターゲットドメインからソースドメインを照会することはできません。ただし、反対方向で別の接続をセットアップすることは可能です。

ソースドメインは、ターゲットドメインへの "アウトバウンド" 接続を作成します。ターゲットドメインは、ソースドメインから "インバウンド" 接続リクエストを受信します。

接続をセットアップするには

ドメインダッシュボードで、ドメインを選択し、[接続] タブに進みます。
[アウトバウンド接続] セクションで、[リクエスト] を選択します。
[接続のエイリアス] に接続の名前を入力します。
AWS アカウントとリージョンのドメインに接続するか、別のアカウントまたはリージョンに接続するかを選択します。
- AWS アカウントとリージョンのクラスターに接続するには、ドロップダウンメニューからドメインを選択し、リクエスト を選択します。
- 別の AWS アカウントまたはリージョンのクラスターに接続するには、リモートドメインの ARN を選択し、リクエスト を選択します。リージョン間でドメインを接続するには、両方のドメインで Elasticsearch バージョン 7.10 以降またはが実行されている必要があります OpenSearch。
クラスタークエリで使用できないクラスターをスキップするには、［使用できないものをスキップ] を選択します。この設定を行うと、1 つまたは複数のリモートクラスターで障害が発生しても、クラスター間のクエリで部分的な結果が返されるようになります。
クラスター間検索では、まず接続リクエストを検証することで、前提条件が満たされているか確認が行われます。ドメインに互換性がないことがわかった場合、接続リクエストは Validation failed の状態になります。
接続要求が正常に検証されると、接続リクエストはターゲットドメインに送信され、承認を受けます。この承認が行われるまで、接続は Pending acceptance の状態のままです。接続要求がターゲットドメインで承諾されると、状態が Active に変わり、ターゲットドメインをクエリに使用できるようになります。
- ドメインページには、ターゲットドメインについて、ドメインの全体的な正常性とインスタンスの正常性に関する詳細が表示されます。ドメインとの間の接続を柔軟に作成、表示、削除、モニタリングできるのは、ドメイン所有者のみです。

接続が確立されると、接続されたドメインのノード間ではすべてのトラフィックフローが暗号化されます。VPC ドメインを非 VPC ドメインに接続し、非 VPC ドメインがインターネットからのトラフィックを受信できるパブリックエンドポイントである場合も、ドメイン間のクラスター間トラフィックは暗号化され安全です。

接続の削除

接続を削除すると、そのインデックスに対するクラスター間のオペレーションが停止します。

ドメインダッシュボードで、[接続] タブに移動します。
削除するドメイン接続を選択し、[削除] を選択したら、削除を確定します。

接続を削除するには、ソースドメインまたはターゲットドメインのいずれかでこれらの手順を実行できます。削除した接続は 15 日間 Deleted ステータスで表示されます。

アクティブなクラスター間接続のあるドメインは削除できません。ドメインを削除するには、まずそのドメインからすべての受信接続と送信接続を削除します。この操作は、ドメインを削除する前にクラスター間ドメインのユーザーを考慮するために行います。

セキュリティのセットアップとサンプルチュートリアル

クラスター間検索リクエストをソースドメインに送信します。
ソースドメインでは、ドメインアクセスポリシーに照らし合わせてリクエストを評価します。クラスター間検索にはきめ細かなアクセス制御が必要になるため、ソースドメインでオープンアクセスポリシーを使用することをお勧めします。
```
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": [
          "*"
        ]
      },
      "Action": [
        "es:ESHttp*"
      ],
      "Resource": "arn:aws:es:region:account:domain/src-domain/*"
    }
  ]
}
```
注記
パスにリモートインデックスを含める場合は、ドメイン ARN で URI を URL エンコードする必要があります。例えば、arn:aws:es:us-east-1:123456789012:domain/my-domain/local_index,dst:remote_index ではなく arn:aws:es:us-east-1:123456789012:domain/my-domain/local_index,dst%3Aremote_index を使用します。

きめ細かなアクセス制御に加えて制限付きアクセスポリシーを使用する場合は、ポリシーでは最低限でも es:ESHttpGet へのアクセスを許可する必要があります。
```
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": [
          "arn:aws:iam::123456789012:user/test-user"
        ]
      },
      "Action": "es:ESHttpGet",
      "Resource": "arn:aws:es:region:account:domain/src-domain/*"
    }
  ]
}
```
ソースドメインに対するきめ細かなアクセス制御では、要求が次のように評価されます。
- リクエストが、有効な IAM または HTTP 基本認証情報で署名されているか。
- その場合、検索を実行し、データにアクセスするためのアクセス許可がユーザーにあるか。
要求がターゲットドメインのデータのみを検索する場合 (例: dest-alias:dest-index/_search)、ターゲットドメインに対するアクセス許可のみが必要になります。

両方のドメインを対象にしたデータ検索のリクエストの場合 (例: source-index,dest-alias:dest-index/_search)、両方のドメインに対するアクセス許可が必要です。

きめ細かなアクセスコントロールでは、ユーザーは、関連するインデックスの標準readまたはindices:admin/shards/search_shardsアクセス許可に加えて、アクセスsearch許可を持っている必要があります。
ソースドメインは、ターゲットドメインにリクエストを渡します。ターゲットドメインでは、このリクエストをドメインアクセスポリシーに照らし合わせて評価します。ターゲットドメインに対する es:ESCrossClusterGet アクセス許可も含める必要があります。
```
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "*"
      },
      "Action": "es:ESCrossClusterGet",
      "Resource": "arn:aws:es:region:account:domain/dst-domain"
    }
  ]
}
```
es:ESCrossClusterGet アクセス許可が /dst-domain/* ではなく /dst-domain に適用されていることを確認してください。

ただし、この最小ポリシーでは、クラスター間検索のみが許可されます。ドキュメントのインデックス作成や標準検索の実行など、他のオペレーションを実行するには、追加のアクセス許可が必要です。ターゲットドメインでは、以下のポリシーの使用をお勧めします。
```
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": [
          "*"
        ]
      },
      "Action": [
        "es:ESHttp*"
      ],
      "Resource": "arn:aws:es:region:account:domain/dst-domain/*"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "*"
      },
      "Action": "es:ESCrossClusterGet",
      "Resource": "arn:aws:es:region:account:domain/dst-domain"
    }
  ]
}
```
注記
ドメイン間のクラスター間検索リクエストはすべて、デフォルトで暗号化の一部として転送中に node-to-node 暗号化されます。
ターゲットドメインで検索が実行され、結果がソースドメインに返されます。
ソースドメインにより、独自の結果 (存在する場合) とターゲットドメインの結果を組み合わせたものが返されます。

テストリクエストには、Postman の使用をお勧めします。

ターゲットドメインで、ドキュメントのインデックスを作成します。


POST https://dst-domain.us-east-1.es.amazonaws.com/books/_doc/1

{
  "Dracula": "Bram Stoker"
}

ソースドメインからこのインデックスを照会するには、クエリ内にターゲットドメインの接続エイリアスを含めます。


GET https://src-domain.us-east-1.es.amazonaws.com/<connection_alias>:books/_search

{
    ...
  "hits": [
    {
      "_index": "source-destination:books",
      "_type": "_doc",
      "_id": "1",
      "_score": 1,
      "_source": {
        "Dracula": "Bram Stoker"
      }
    }
  ]
}

接続エイリアスは、ドメインダッシュボードの [接続] タブで確認できます。

domain-a -> domain-b の接続を接続エイリアス cluster_b でセットアップし、domain-a -> domain-c 接続を接続エイリアス cluster_c でセットアップする場合は、次のように domain-a、domain-b、および domain-c を検索します。


GET https://src-domain.us-east-1.es.amazonaws.com/local_index,cluster_b:b_index,cluster_c:c_index/_search
{
  "query": {
    "match": {
      "user": "domino"
    }
  }
}

レスポンス


{
  "took": 150,
  "timed_out": false,
  "_shards": {
    "total": 3,
    "successful": 3,
    "failed": 0,
    "skipped": 0
  },
  "_clusters": {
    "total": 3,
    "successful": 3,
    "skipped": 0
  },
  "hits": {
    "total": 3,
    "max_score": 1,
    "hits": [
      {
        "_index": "local_index",
        "_type": "_doc",
        "_id": "0",
        "_score": 1,
        "_source": {
          "user": "domino",
          "message": "Lets unite the new mutants",
          "likes": 0
        }
      },
      {
        "_index": "cluster_b:b_index",
        "_type": "_doc",
        "_id": "0",
        "_score": 2,
        "_source": {
          "user": "domino",
          "message": "I'm different",
          "likes": 0
        }
      },
      {
        "_index": "cluster_c:c_index",
        "_type": "_doc",
        "_id": "0",
        "_score": 3,
        "_source": {
          "user": "domino",
          "message": "So am I",
          "likes": 0
        }
      }
    ]
  }
}

接続のセットアップで使用できないクラスターをスキップしなかった場合、検索リクエストを正常に実行するには、検索するすべての宛先クラスターが使用可能である必要があります。そうでない場合は、リクエスト全体が失敗しますドメインのうち、いずれか 1 つだけが使用できない場合でも、検索結果は返されません。

OpenSearch ダッシュボード

接続された複数ドメインのデータは、単一のドメインの場合と同じ方法で可視化できますが、connection-alias:index を使用してリモートインデックスにアクセスする必要があります。インデックスパターンは connection-alias:index に一致する必要があります。

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

k-NN 検索

Learning to Rank