Konnektivität zu öffentlichen Clustern OpenSearch Konnektivität zu OpenSearch Clustern in einem VPC

Verwenden einer OpenSearch Ingestion-Pipeline mit OpenSearch

Sie können eine OpenSearch Ingestion-Pipeline mit Selbstverwaltung OpenSearch oder Elasticsearch verwenden, um Daten zu Amazon OpenSearch Service-Domains und serverlosen Sammlungen zu migrieren. OpenSearch OpenSearch Ingestion unterstützt sowohl öffentliche als auch private Netzwerkkonfigurationen für die Migration von Daten aus Self-Managed und Elasticsearch. OpenSearch

Konnektivität zu öffentlichen Clustern OpenSearch

Sie können OpenSearch Ingestion-Pipelines verwenden, um Daten aus einem selbstverwalteten Cluster OpenSearch oder einem Elasticsearch-Cluster mit einer öffentlichen Konfiguration zu migrieren, was bedeutet, dass der DNS Domainname öffentlich aufgelöst werden kann. Richten Sie dazu eine OpenSearch Ingestion-Pipeline mit Self-managed OpenSearch oder Elasticsearch als Quelle und Service oder Serverless als Ziel ein. OpenSearch OpenSearch Dadurch werden Ihre Daten effektiv von einem selbstverwalteten Quell-Cluster zu einer -verwalteten Zieldomain oder -sammlung migriert. AWS

Voraussetzungen

Bevor Sie Ihre OpenSearch Ingestion-Pipeline erstellen, führen Sie die folgenden Schritte aus:

Erstellen Sie einen selbstverwalteten Cluster OpenSearch oder Elastisearch-Cluster, der die Daten enthält, die Sie migrieren möchten, und konfigurieren Sie einen öffentlichen Namen. DNS
Erstellen Sie eine OpenSearch Service-Domain oder eine OpenSearch serverlose Sammlung, in die Sie Daten migrieren möchten. Weitere Informationen finden Sie unter OpenSearch Dienstdomänen erstellen und Sammlungen erstellen.
Richten Sie die Authentifizierung auf Ihrem selbstverwalteten Cluster mit AWS Secrets Manager ein. Aktivieren Sie die Rotation von Geheimnissen, indem Sie die Schritte unter AWS Secrets Manager Geheimnisse rotieren befolgen.
Fügen Sie Ihrer Domain eine ressourcenbasierte Richtlinie oder Ihrer Sammlung eine Datenzugriffsrichtlinie hinzu. Diese Zugriffsrichtlinien ermöglichen es OpenSearch Ingestion, Daten aus Ihrem selbstverwalteten Cluster in Ihre Domain oder Sammlung zu schreiben.

Die folgende Beispielrichtlinie für den Domänenzugriff ermöglicht es der Pipeline-Rolle, die Sie im nächsten Schritt erstellen, Daten in eine Domäne zu schreiben. Stellen Sie sicher, dass Sie die resource mit Ihrer eigenen aktualisierenARN.
```
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::{pipeline-account-id}:role/pipeline-role"
      },
      "Action": [
        "es:DescribeDomain",
        "es:ESHttp*"
      ],
      "Resource": [
        "arn:aws:es:{region}:{account-id}:domain/domain-name"
      ]
    }
  ]
}
```
Informationen zum Erstellen einer IAM Rolle mit den richtigen Berechtigungen für den Zugriff auf Schreibdaten für die Sammlung oder Domäne finden Sie unter Erforderliche Berechtigungen für Domänen und Erforderliche Berechtigungen für Sammlungen.

Schritt 1: Konfigurieren Sie die Pipeline-Rolle

Nachdem Sie Ihre OpenSearch Pipeline-Voraussetzungen eingerichtet haben, konfigurieren Sie die Pipeline-Rolle, die Sie in Ihrer Pipeline-Konfiguration verwenden möchten, und fügen Sie die Berechtigung zum Schreiben in eine OpenSearch Service-Domain oder OpenSearch Serverless-Sammlung sowie die Berechtigung zum Lesen von Geheimnissen aus Secrets Manager hinzu.

Schritt 2: Erstellen Sie die Pipeline

Anschließend können Sie eine OpenSearch Ingestion-Pipeline wie die folgende konfigurieren, die OpenSearch als Quelle angegeben wird.

Sie können mehrere OpenSearch Dienstdomänen als Ziele für Ihre Daten angeben. Diese Funktion ermöglicht das bedingte Routing oder die Replikation eingehender Daten in mehrere OpenSearch Dienstdomänen.

Sie können auch Daten von einem Quell OpenSearch - oder Elasticsearch-Cluster in eine OpenSearch serverlose VPC Sammlung migrieren. Stellen Sie sicher, dass Sie in der Pipeline-Konfiguration eine Netzwerkzugriffsrichtlinie angeben.


version: "2"
opensearch-migration-pipeline:
  source:
    opensearch:
      acknowledgments: true
      host: [ "https://my-self-managed-cluster-name:9200" ]
      indices:
        include:
          - index_name_regex: "include-.*"
        exclude:
          - index_name_regex: '\..*'
      authentication:
        username: ${aws_secrets:secret:username}
        password: ${aws_secrets:secret:password}
        scheduling:
           interval: "PT2H"
           index_read_count: 3
           start_time: "2023-06-02T22:01:30.00Z"
  sink:
  - opensearch:
      hosts: ["https://search-mydomain.us-east-1.es.amazonaws.com"]
      aws:
          sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
          region: "us-east-1"
          #Uncomment the following lines if your destination is an OpenSearch Serverless collection
          #serverless: true
          # serverless_options:
          #     network_policy_name: "network-policy-name"
      index: "${getMetadata(\"opensearch-index\")}"
      document_id: "${getMetadata(\"opensearch-document_id\")}"
      enable_request_compression: true
      dlq:
        s3:
          bucket: "bucket-name"
          key_path_prefix: "apache-log-pipeline/logs/dlq"
          region: "us-east-1"
          sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
extension:
  aws:
    secrets:
      secret:
        secret_id: "my-opensearch-secret"
        region: "us-east-1"
        sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
        refresh_interval: PT1H

Sie können einen vorkonfigurierten Blueprint verwenden, um diese Pipeline zu erstellen. Weitere Informationen finden Sie unter Verwenden von Blueprints zum Erstellen einer Pipeline.

Konnektivität zu OpenSearch Clustern in einem VPC

Sie können OpenSearch Ingestion-Pipelines auch verwenden, um Daten aus einem selbstverwalteten OpenSearch oder Elasticsearch-Cluster zu migrieren, der in einem ausgeführt wird. VPC Richten Sie dazu eine OpenSearch Ingestion-Pipeline mit selbstverwalteter Pipeline OpenSearch oder Elasticsearch als Quelle und Service oder Serverless als Ziel ein. OpenSearch OpenSearch Dadurch werden Ihre Daten effektiv von einem selbstverwalteten Quell-Cluster zu einer -verwalteten Zieldomain oder -sammlung migriert. AWS

Voraussetzungen

Bevor Sie Ihre OpenSearch Ingestion-Pipeline erstellen, führen Sie die folgenden Schritte aus:

Erstellen Sie einen selbstverwalteten Cluster OpenSearch oder Elastisearch-Cluster mit einer VPC Netzwerkkonfiguration, die die Daten enthält, die Sie migrieren möchten.
Erstellen Sie eine OpenSearch Service-Domain oder eine OpenSearch serverlose Sammlung, in die Sie Daten migrieren möchten. Weitere Informationen finden Sie unter OpenSearch Dienstdomänen erstellen und Sammlungen erstellen.
Richten Sie die Authentifizierung auf Ihrem selbstverwalteten Cluster mit AWS Secrets Manager ein. Aktivieren Sie die Rotation von Geheimnissen, indem Sie die Schritte unter AWS Secrets Manager Geheimnisse rotieren befolgen.
Rufen Sie die ID der Person abVPC, die Zugriff auf Self-Managed OpenSearch oder Elasticsearch hat. Wählen Sie die aus VPCCIDR, die von OpenSearch Ingestion verwendet werden soll.

Anmerkung
Wenn Sie die verwenden, um Ihre Pipeline AWS Management Console zu erstellen, müssen Sie auch Ihre OpenSearch Ingestion-Pipeline an Ihre anhängen, um Self-Managed oder VPC Elasticsearch verwenden zu können. OpenSearch Suchen Sie dazu den Abschnitt Netzwerkkonfiguration, aktivieren Sie das VPC Kontrollkästchen Anhängen an und wählen Sie eine der bereitgestellten Standardoptionen oder wählen Sie Ihre eigene CIDR aus. Sie können jeden beliebigen Adressraum CIDR aus einem privaten Adressraum verwenden, wie in der Best Current Practice von RFC 1918 definiert.
Wenn Sie einen benutzerdefinierten Wert angeben möchtenCIDR, wählen Sie im Dropdownmenü die Option Andere aus. Um eine Kollision der IP-Adressen zwischen OpenSearch Ingestion und Self-managed zu vermeiden, stellen Sie sicher OpenSearch, dass sich die selbst verwaltete Adresse von der für OpenSearch VPC CIDR Ingestion unterscheidet. CIDR OpenSearch
Fügen Sie Ihrer Domain eine ressourcenbasierte Richtlinie oder Ihrer Sammlung eine Datenzugriffsrichtlinie hinzu. Diese Zugriffsrichtlinien ermöglichen es OpenSearch Ingestion, Daten aus Ihrem selbstverwalteten Cluster in Ihre Domain oder Sammlung zu schreiben.

Die folgende Beispielrichtlinie für den Domänenzugriff ermöglicht es der Pipeline-Rolle, die Sie im nächsten Schritt erstellen, Daten in eine Domäne zu schreiben. Stellen Sie sicher, dass Sie die resource mit Ihrer eigenen aktualisierenARN.
```
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::{pipeline-account-id}:role/pipeline-role"
      },
      "Action": [
        "es:DescribeDomain",
        "es:ESHttp*"
      ],
      "Resource": [
        "arn:aws:es:{region}:{account-id}:domain/domain-name"
      ]
    }
  ]
}
```
Informationen zum Erstellen einer IAM Rolle mit den richtigen Berechtigungen für den Zugriff auf Schreibdaten für die Sammlung oder Domäne finden Sie unter Erforderliche Berechtigungen für Domänen und Erforderliche Berechtigungen für Sammlungen.

Schritt 1: Konfigurieren Sie die Pipeline-Rolle

Nachdem Sie Ihre Pipeline-Voraussetzungen eingerichtet haben, konfigurieren Sie die Pipeline-Rolle, die Sie in Ihrer Pipeline-Konfiguration verwenden möchten, und fügen Sie der Rolle die folgenden Berechtigungen hinzu:


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "SecretsManagerReadAccess",
            "Effect": "Allow",
            "Action": [
                "secretsmanager:GetSecretValue"
            ],
            "Resource": ["arn:aws:secretsmanager:{region}:{account-id}:secret:secret-name"]
        },
        {
            "Effect": "Allow",
            "Action": [
                "ec2:AttachNetworkInterface",
                "ec2:CreateNetworkInterface",
                "ec2:CreateNetworkInterfacePermission",
                "ec2:DeleteNetworkInterface",
                "ec2:DeleteNetworkInterfacePermission",
                "ec2:DetachNetworkInterface",
                "ec2:DescribeNetworkInterfaces"
            ],
            "Resource": [
                "arn:aws:ec2:*:{account-id}:network-interface/*",
                "arn:aws:ec2:*:{account-id}:subnet/*",
                "arn:aws:ec2:*:{account-id}:security-group/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "ec2:DescribeDhcpOptions",
                "ec2:DescribeRouteTables",
                "ec2:DescribeSecurityGroups",
                "ec2:DescribeSubnets",
                "ec2:DescribeVpcs",
                "ec2:Describe*"
            ],
            "Resource": "*"
        },
        { 
            "Effect": "Allow",
            "Action": [ 
                "ec2:CreateTags"
            ],
            "Resource": "arn:aws:ec2:*:*:network-interface/*",
            "Condition": { 
               "StringEquals": 
                    {
                        "aws:RequestTag/OSISManaged": "true"
                    } 
            } 
        }
    ]
}

Sie müssen die oben genannten EC2 Amazon-Berechtigungen für die IAM Rolle angeben, die Sie zum Erstellen der OpenSearch Ingestion-Pipeline verwenden, da die Pipeline diese Berechtigungen verwendet, um eine Netzwerkschnittstelle in Ihrem zu erstellen und zu löschen. VPC Die Pipeline kann nur über diese Netzwerkschnittstelle auf den OpenSearch Cluster zugreifen.

Schritt 2: Erstellen Sie die Pipeline

Anschließend können Sie eine OpenSearch Ingestion-Pipeline wie die folgende konfigurieren, die OpenSearch als Quelle angegeben wird.


version: "2"
opensearch-migration-pipeline:
  source:
    opensearch:
      acknowledgments: true
      host: [ "https://my-self-managed-cluster-name:9200" ]
      indices:
        include:
          - index_name_regex: "include-.*"
        exclude:
          - index_name_regex: '\..*'
      authentication:
        username: ${aws_secrets:secret:username}
        password: ${aws_secrets:secret:password}
        scheduling:
           interval: "PT2H"
           index_read_count: 3
           start_time: "2023-06-02T22:01:30.00Z"
  sink:
  - opensearch:
      hosts: ["https://search-mydomain.us-east-1.es.amazonaws.com"]
      aws:
          sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
          region: "us-east-1"
          #Uncomment the following lines if your destination is an OpenSearch Serverless collection
          #serverless: true
          # serverless_options:
          #     network_policy_name: "network-policy-name"
      index: "${getMetadata(\"opensearch-index\")}"
      document_id: "${getMetadata(\"opensearch-document_id\")}"
      enable_request_compression: true
      dlq:
        s3:
          bucket: "bucket-name"
          key_path_prefix: "apache-log-pipeline/logs/dlq"
          region: "us-east-1"
          sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
extension:
  aws:
    secrets:
      secret:
        secret_id: "my-opensearch-secret"
        region: "us-east-1"
        sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
        refresh_interval: PT1H

Sie können einen vorkonfigurierten Blueprint verwenden, um diese Pipeline zu erstellen. Weitere Informationen finden Sie unter Verwenden von Blueprints zum Erstellen einer Pipeline.

Warnung JavaScript ist in Ihrem Browser nicht verfügbar oder deaktiviert.

Zur Nutzung der AWS-Dokumentation muss JavaScript aktiviert sein. Weitere Informationen finden auf den Hilfe-Seiten Ihres Browsers.

Dokumentkonventionen

Selbstverwaltetes Kafka

Daten zwischen Domains und Sammlungen migrieren

Verwenden einer OpenSearch Ingestion-Pipeline mit OpenSearch

Konnektivität zu öffentlichen Clustern OpenSearch

Voraussetzungen

Schritt 1: Konfigurieren Sie die Pipeline-Rolle

Schritt 2: Erstellen Sie die Pipeline

Konnektivität zu OpenSearch Clustern in einem VPC

Voraussetzungen

Anmerkung

Schritt 1: Konfigurieren Sie die Pipeline-Rolle

Schritt 2: Erstellen Sie die Pipeline