Konfiguration des VPC-Zugriffs für Amazon OpenSearch Ingestion-Pipelines

Sie können über einen Schnittstellen-VPC-Endpunkt auf Ihre Amazon OpenSearch Ingestion-Pipeline zugreifen. Eine VPC ist ein virtuelles Netzwerk, das speziell für Ihr AWS-Konto ausgelegt ist. Es ist von anderen virtuellen Netzwerken in der AWS Cloud getrennt. Der Zugriff auf eine Pipeline über einen VPC-Endpunkt ermöglicht eine sichere Kommunikation zwischen OpenSearch Ingestion und anderen Services innerhalb der VPC, ohne dass ein Internet-Gateway, ein NAT-Gerät oder eine VPN-Verbindung benötigt wird. Der gesamte Datenverkehr bleibt in der AWS -Cloud geschützt.

OpenSearch Ingestion stellt diese private Verbindung her, indem ein Schnittstellen-Endpunkt erstellt wird, der von unterstützt wird. AWS PrivateLink Wir erstellen eine Endpunktnetzwerkschnittstelle in jedem Subnetz, das Sie bei der Pipeline angeben. Hierbei handelt es sich um vom Anforderer verwaltete Netzwerkschnittstellen, die als Eingangspunkt für den Datenverkehr dienen, der für die Ingestion-Peline bestimmt ist OpenSearch . Sie können die Schnittstellen-Endpunkte auch selbst erstellen und verwalten.

Mit einer VPC können Sie den Datenfluss durch Ihre OpenSearch Ingestion-Pipelines innerhalb der Grenzen der VPC erzwingen, anstatt über das öffentliche Internet. Pipelines, die sich nicht in einer VPC befinden, senden und empfangen Daten über öffentlich zugängliche Endpunkte und das Internet.

Eine Pipeline mit VPC-Zugriff kann in öffentliche Domänen oder OpenSearch VPC-Dienstdomänen sowie in öffentliche oder serverlose OpenSearch VPC-Sammlungen schreiben.

Überlegungen

Berücksichtigen Sie Folgendes, wenn Sie den VPC-Zugriff für eine Pipeline konfigurieren.

• Eine Pipeline muss sich nicht in derselben VPC wie ihre Senke befinden. Sie müssen auch keine Verbindung zwischen den beiden VPCs herstellen. OpenSearch Ingestion kümmert sich darum, sie für Sie zu verbinden.

• Sie können nur eine VPC für Ihre Pipeline angeben.

• Im Gegensatz zu öffentlichen Pipelines muss sich eine VPC-Pipeline in derselben AWS-Region Domäne oder Sammelsenke befinden, in die sie schreibt.

• Sie können eine Pipeline in einem, zwei oder drei Subnetzen Ihrer VPC bereitstellen. Die Subnetze sind auf dieselben Availability Zones verteilt, in denen Ihre OpenSearch Ingestion-Recheneinheiten () OCUs bereitgestellt werden.

• Wenn Sie nur eine Pipeline in einem Subnetz bereitstellen und die Availability Zone ausfällt, können Sie keine Daten aufnehmen. Um eine hohe Verfügbarkeit zu gewährleisten, empfehlen wir, Pipelines mit zwei oder drei Subnetzen zu konfigurieren.

• Die Angabe einer Sicherheitsgruppe ist optional. Wenn Sie keine Sicherheitsgruppe angeben, verwendet OpenSearch Ingestion die Standardsicherheitsgruppe, die in der VPC angegeben ist.

Einschränkungen

Pipelines mit VPC-Zugriff haben folgende Einschränkungen.

• Sie können die Netzwerkkonfiguration einer Pipeline nicht mehr ändern, nachdem Sie sie erstellt haben. Wenn Sie eine Pipeline innerhalb einer VPC starten, können Sie sie später nicht in einen öffentlichen Endpunkt ändern und umgekehrt.

• Sie können Ihre Pipeline entweder mit einem Schnittstellen-VPC-Endpunkt oder einem öffentlichen Endpunkt starten, aber Sie können nicht beides tun. Sie müssen sich beim Erstellen einer Pipeline für eine Option entscheiden.

• Nachdem Sie eine Pipeline mit VPC-Zugriff bereitgestellt haben, kann sie nicht in eine andere VPC verlagert werden, und Sie können auch ihre Subnetze oder Sicherheitsgruppeneinstellungen nicht ändern.

• Wenn Ihre Pipeline in eine Domain oder Sammlungssenke schreibt, die VPC-Zugriff verwendet, können Sie nicht später zurückkehren und die Senke (VPC oder öffentlich) ändern, nachdem die Pipeline erstellt wurde. Sie müssen die Pipeline mit einer neuen Senke löschen und neu erstellen. Sie können immer noch von einer öffentlichen Senke zu einer Senke mit VPC-Zugriff wechseln.

• Sie können keinen kontenübergreifenden Aufnahmezugriff auf VPC-Pipelines gewähren.

Voraussetzungen

Bevor Sie eine Pipeline mit VPC-Zugriff bereitstellen können, müssen Sie die folgenden Schritte ausführen:

• Erstellen einer VPC

  Sie können zum Erstellen der VPC die Amazon VPC-Konsole, die AWS CLI oder eine Option verwenden. AWS SDKs Weitere Informationen finden Sie unter Arbeiten mit VPCs im Amazon VPC-Benutzerhandbuch. Wenn bereits eine VPC vorhanden ist, können Sie diesen Schritt überspringen.

• Reservieren von IP-Adressen

  OpenSearch Ingestion fügt dann in jedem elastic network interface, das Sie beim Erstellen der Pipeline angeben, eine ENI hinzu. Jeder Netzwerkschnittstelle ist eine IP-Adresse zugewiesen. Sie müssen eine IP-Adresse pro Subnetz für die Netzwerkschnittstellen reservieren.

Konfigurieren des VPC-Zugriffs für eine Pipeline

Sie können den VPC-Zugriff für eine Pipeline in der OpenSearch Servicekonsole oder mithilfe der AWS CLI aktivieren.

Konsole

Sie konfigurieren den VPC-Zugriff während der Pipelineerstellung. Wählen Sie unter Quellnetzwerkoptionen die Option VPC-Zugriff aus und konfigurieren Sie die folgenden Einstellungen:

Einstellung	Beschreibung
Endpunktverwaltung	Wählen Sie aus, ob Sie Ihre VPC-Endpoints selbst erstellen möchten oder ob Sie sie von OpenSearch Ingestion für Sie erstellen lassen möchten.
VPC	Wählen Sie für die Virtual Private Cloud (VPC) die ID, die Sie verwenden möchten. Die VPC und die Pipeline müssen sich im selben AWS-Region befinden.
Subnets	Wählen Sie unter Subnetz ein oder mehrere Subnetze aus. OpenSearch Service fügt dann den Subnetzen einen VPC-Endpunkt und Elastic-Network-Schnittstellen (ENIs) hinzu.
Sicherheitsgruppen	Wählen Sie eine oder mehrere VPC-Sicherheitsgruppen, die es Ihrer erforderlichen Anwendung ermöglichen, die Pipeline über OpenSearch die von der Pipeline bereitgestellten Ports (80 oder 443) und Protokolle (HTTP oder HTTPs) zu erreichen.
VPC-Anhangsoptionen	Wenn Ihre Quelle eine VPC-übergreifende Kommunikation erfordert, z. B. Amazon DocumentDB, Self-Managed oder Confluent Kafka OpenSearch, erstellt OpenSearch Ingestion Elastic Network Interfaces (ENIs) in den Subnetzen, die Sie angeben, um eine Verbindung zu diesen Quellen herzustellen. OpenSearch Ingestion verwendet in jeder Availability Zone, um die angegebenen Quellen zu erreichen. ENIs Die Option An VPC anhängen verbindet die VPC der OpenSearch Aufnahmedatenebene mit Ihrer angegebenen VPC. Wählen Sie eine CIDR-Reservierung für die verwaltete VPC aus, um die Netzwerkschnittstelle bereitzustellen.

CLI

Um den VPC-Zugriff mit dem zu konfigurieren AWS CLI, geben Sie den --vpc-options Parameter an:

aws osis create-pipeline \
  --pipeline-name vpc-pipeline \
  --min-units 4 \
  --max-units 10 \
  --vpc-options SecurityGroupIds={sg-12345678,sg-9012345},SubnetIds=subnet-1212234567834asdf \
  --pipeline-configuration-body "file://pipeline-config.yaml"

Selbstverwaltet VPC Endpunkte

Wenn Sie eine Pipeline erstellen, können Sie Endpoint Management verwenden, um eine Pipeline mit selbstverwalteten Endpunkten oder dienstverwalteten Endpunkten zu erstellen. Endpoint Management ist optional und verwendet standardmäßig Endgeräte, die von Ingestion verwaltet werden. OpenSearch

Informationen zum Erstellen einer Pipeline mit einem selbstverwalteten VPC-Endpunkt in der AWS Management Console finden Sie unter Pipelines mit der OpenSearch Servicekonsole erstellen. Um eine Pipeline mit einem selbstverwalteten VPC-Endpunkt in der zu erstellen AWS CLI, können Sie den --vpc-options Parameter im Befehl create-pipeline verwenden:

--vpc-options SubnetIds=subnet-abcdef01234567890,VpcEndpointManagement=CUSTOMER

Sie können einen Endpunkt für Ihre Pipeline selbst erstellen, wenn Sie Ihren Endpunktservice angeben. Um Ihren Endpunktdienst zu finden, verwenden Sie den Befehl get-pipeline, der eine Antwort ähnlich der folgenden zurückgibt:

"vpcEndpointService" : "com.amazonaws.osis.us-east-1.pipeline-id-1234567890abcdef1234567890",
"vpcEndpoints" : [ 
  {
    "vpcId" : "vpc-1234567890abcdef0",
    "vpcOptions" : {
      "subnetIds" : [ "subnet-abcdef01234567890", "subnet-021345abcdef6789" ],
      "vpcEndpointManagement" : "CUSTOMER"
    }
  }

Verwenden Sie die Antwort vpcEndpointService von der Antwort, um einen VPC-Endpunkt mit dem AWS Management Console oder AWS CLI zu erstellen.

Wenn Sie selbstverwaltete VPC-Endpoints verwenden, müssen Sie die DNS-Attribute enableDnsSupport und enableDnsHostnames in Ihrer VPC aktivieren. Beachten Sie, dass Sie, wenn Sie eine Pipeline mit einem selbstverwalteten Endpunkt haben, den Sie beenden und neu starten, den VPC-Endpunkt in Ihrem Konto neu erstellen müssen.

Service-verknüpfte Rolle für den VPC-Zugriff

Eine Service-verknüpfte Rolle ist ein spezieller Typ der IAM-Rolle zum Übertragen von Berechtigungen an einen Service, damit dieser Ressourcen für Sie erstellen und verwalten kann. Wenn Sie sich für einen Service-verwalteten VPC-Endpunkt entscheiden, benötigt OpenSearch Ingestion eine Service-verknüpfte Rolle, die aufgerufen wird, AWSServiceRoleForAmazonOpenSearchIngestionServiceum auf die VPC zuzugreifen, den Pipeline-Endpunkt zu erstellen und Netzwerkschnittstellen in ein Subnetz der VPC einzufügen.

Wenn Sie sich für einen selbstverwalteten VPC-Endpunkt entscheiden, erfordert OpenSearch Ingestion eine serviceverknüpfte Rolle namens. AWSServiceRoleForOpensearchIngestionSelfManagedVpce Weitere Informationen zu diesen Rollen, ihren Berechtigungen und wie Sie sie löschen können, finden Sie unter. Verwenden von serviceverknüpften Rollen zur Erstellung von OpenSearch Ingestion-Pipelines

OpenSearch Die Aufnahme erstellt die Rolle automatisch, wenn Sie eine Aufnahme-Pipeline erstellen. Damit diese automatische Erstellung erfolgreich ist, muss der Benutzer, der die erste Pipeline in einem Konto erstellt, über Berechtigungen für die Aktion verfügen. iam:CreateServiceLinkedRole Weitere Informationen finden Sie unter Berechtigungen von Service-verknüpften Rollen im IAM-Benutzerhandbuch. Sie können die Rolle in der AWS Identity and Access Management (IAM-) Konsole anzeigen, nachdem sie erstellt wurde.