Voraussetzungen

Ihr Aurora PostgreSQL-DB-Cluster kann Iceberg- und Parquet-Daten aus Amazon S3, Amazon S3 S3-Tabellen und in AWS Glue Data Catalog Ihrem Namen lesen. Bevor Sie diese Daten abfragen, benötigt der Cluster drei Dinge: eine Möglichkeit, sich bei diesen Diensten zu authentifizieren, eine Engine-Version, die die aurora_analytics Erweiterung enthält, und einen Netzwerkpfad von Ihrer VPC, um sie zu erreichen. In den folgenden Abschnitten erfahren Sie, wie Sie eine IAM-Richtlinie und eine IAM-Rolle erstellen, die Lesezugriff auf die spezifischen Daten gewähren, die Sie abfragen möchten, diese Rolle Ihrem DB-Cluster zuordnen, die Erweiterung in Ihrer DB-Cluster-Parametergruppe aktivieren und den Netzwerkpfad konfigurieren, den Ihr Cluster verwendet, um Amazon S3 zu erreichen und. AWS Glue Sie können diese Schritte auf jedem vorhandenen Aurora PostgreSQL-DB-Cluster ausführen, der die Versionsanforderungen erfüllt.

Überblick über die Einrichtungsschritte

Die allgemeinen Einrichtungsschritte lauten wie folgt:

1. Erstellen Sie eine IAM-Richtlinie, die Lesezugriff auf Ihre Daten gewährt.

2. Erstellen Sie eine IAM-Rolle und fügen Sie diese Richtlinie an.

3. Fügen Sie die IAM-Rolle dem Aurora-DB-Cluster hinzu.

4. Richten Sie Netzwerke (VPC-Endpunkte) ein, wenn sich Ihr Cluster in einem privaten Subnetz befindet.

5. Aktivieren Sie die aurora_analytics Erweiterung in der DB-Cluster-Parametergruppe.

Erstellen einer IAM-Richtlinie

Erstellen Sie eine IAM-Richtlinie, die der Erweiterung Lesezugriff auf Amazon S3 und optional auf AWS Glue Data Catalog Amazon S3 S3-Tabellen gewährt, je nachdem, welches Format Ihre Daten haben und wo sie gespeichert sind.

Die Mindestberechtigungen hängen davon ab, wie Sie auf die Daten verweisen: vom Datenformat (Parquet oder Iceberg), von der Quelle (Amazon S3 oder Amazon S3 Tables) und davon, ob Sie auf eine einzelne Datei oder ein Verzeichnis zeigen. AWS Glue Data Catalog In der folgenden Tabelle sind die minimalen IAM-Rollenberechtigungen für die gängigen Szenarien mit demselben Konto aufgeführt:

Minimale IAM-Rollenberechtigungen nach Quelle

Quelle	Mindestberechtigungen
Amazon S3, einzelne Datei (s3://bucket/path/data.parquet)	s3:GetObject
Amazon S3, Verzeichnis oder Glob () s3://bucket/path/	s3:GetObject, s3:ListBucket
AWS Glue Data Catalog (arn:aws:glue:us-east-1:123456789012:table/mydb/mytable)	glue:GetTable+ Amazon S3 S3-Rechte oben
Amazon S3 S3-Tabellen, direkter ARN (arn:aws:s3tables:us-east-1:123456789012:bucket/mybucket/table/table_id)	s3tables:GetTable, s3tables:GetTableBucket, s3tables:GetTableData, s3tables:GetNamespace
Amazon S3 S3-Tabellen, über den AWS Glue Katalog-ARN (arn:aws:glue:us-east-1:123456789012:table/s3tablescatalog/mybucket/myns/mytable)	glue:GetTable+ oben genannte s3tables Privilegien

Anmerkung

s3:ListBucketwird nur benötigt, wenn die Erweiterung ein Amazon S3 S3-Präfix zur Erkennung von Dateien auflistet (z. B. Parquet-Verzeichnis oder Glob Access). Iceberg löst die genauen Dateipfade anhand seiner Manifeste auf, was bedeutet, dass dies nicht erforderlich s3:ListBucket ist.

Anmerkung

Wenn Ihre Daten mit verschlüsselt sind SSE-KMS, fügen Sie kms:Decrypt den KMS-Schlüssel hinzu.

Anmerkung

Zusätzliche Rechte sind für IMPORT FOREIGN SCHEMA (glue:GetTablesoders3tables:ListTables), kontenübergreifenden Zugriff, ressourcenrichtlinienbasierten Zugriff und Lake-Tabellen erforderlich. Formation-governed

Ausführliche Richtlinienbeispiele finden Sie unter. Referenz zu IAM-Richtlinien Weitere Informationen zum Erstellen von IAM-Richtlinien finden Sie unter Erstellen von IAM-Richtlinien im IAM-Benutzerhandbuch.

Erstellen einer IAM-Rolle

Erstellen Sie eine IAM-Rolle, die Aurora übernehmen kann, um im Namen der Erweiterung auf Ihre Amazon S3 S3-Daten zuzugreifen.

Um eine IAM-Rolle mit dem zu erstellen AWS Management Console

1. Öffnen Sie unter https://console.aws.amazon.com/iam/ die IAM-Konsole.

2. Wählen Sie im Navigationsbereich Rollen und anschließend Rolle erstellen aus.

3. Wählen Sie unter Vertrauenswürdiger Entitätstyp die Option AWS -Service aus.

4. Wählen Sie für Anwendungsfall die Option RDS aus der Serviceliste aus.

5. Wählen Sie aus den Anwendungsfalloptionen die Option RDS — Rolle zur Datenbank hinzufügen aus.

6. Wählen Sie Weiter aus.

7. Wählen Sie die Richtlinie aus, in der Sie sie erstellt habenErstellen einer IAM-Richtlinie. Sie können auch vordefinierte Berechtigungsrichtlinien wie AmazonS3ReadOnlyAccessund AWSGlueConsoleFullAccessauswählen.

8. Wählen Sie Weiter aus.

9. Geben Sie unter Rollenname einen Namen für die Rolle ein (z. B.AuroraAnalyticsRole).

10. Wählen Sie Rolle erstellen aus.

Um eine IAM-Rolle mit dem zu erstellen AWS CLI

1. Erstellen Sie eine Rolle mit dem NamenAuroraAnalyticsRole:

   aws iam create-role \
     --role-name AuroraAnalyticsRole \
     --assume-role-policy-document '{
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": "rds.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }'

2. Fügen Sie die Richtlinie an die Rolle an:

   aws iam attach-role-policy \
     --role-name AuroraAnalyticsRole \
     --policy-arn arn:aws:iam::123456789012:policy/AuroraAnalyticsReadAccess

Beachten Sie die Rollen-ARN. Sie benötigen es, wenn Sie die Rolle Ihrem Aurora-DB-Cluster zuordnen. Weitere Informationen finden Sie unter Erstellen von IAM-Rollen im -IAM-Benutzerhandbuch.

Anhängen der IAM-Rolle an den Aurora-DB-Cluster

Nachdem Sie den DB-Cluster erstellt haben, ordnen Sie die IAM-Rolle zu, die Sie für die Erweiterung erstellt haben.

Um die IAM-Rolle anzuhängen, verwenden Sie AWS Management Console

1. Öffnen Sie die Amazon RDS-Konsole unter https://console.aws.amazon.com/rds/.

2. Wählen Sie im Navigationsbereich Datenbanken und dann den Namen Ihres Aurora PostgreSQL-DB-Clusters aus.

3. Wählen Sie auf der Registerkarte Connectivity & security (Konnektivität und Sicherheit) im Bereich Manage IAM roles (IAM-Rollen verwalten) die Rolle aus, die unter Add IAM roles to this cluster (IAM-Rollen zu diesem Cluster hinzufügen) hinzugefügt werden soll.

4. Wählen Sie für Feature die Option. AuroraAnalytics

5. Wählen Sie Rolle hinzufügen aus.

Um die IAM-Rolle anzuhängen, verwenden Sie AWS CLI

• aws rds add-role-to-db-cluster \
    --region us-east-1 \
    --db-cluster-identifier my-analytics-cluster \
    --feature-name AuroraAnalytics \
    --role-arn arn:aws:iam::123456789012:role/AuroraAnalyticsRole

Der IAM-Rollenstatus wird als Aktiv angezeigt, nachdem er erfolgreich angehängt wurde. Weitere Informationen finden Sie unter add-role-to-db-cluster in der CLI-Befehlsreferenz.AWS

Richten Sie das Netzwerk ein

Wenn Ihr Aurora-DB-Cluster in einem privaten Subnetz bereitgestellt wird, benötigt er einen Netzwerkpfad, um Amazon S3 und (optional) AWS Glue zu erreichen. Sie können dies mit VPC-Endpunkten (empfohlen) oder über ein NAT-Gateway bereitstellen.

VPC-Endpunkte halten den Datenverkehr im AWS Netzwerk aufrecht, ohne das öffentliche Internet zu durchqueren, und für einen Amazon S3 S3-Gateway-Endpunkt fallen keine zusätzlichen Stundengebühren an, weshalb sie der empfohlene Ansatz sind. Ein NAT-Gateway funktioniert auch, wenn Ihre VPC bereits ausgehenden Datenverkehr über eines weiterleitet, der Datenverkehr jedoch über einen öffentlichen Pfad gesendet wird und NAT-Datenverarbeitungsgebühren anfallen. Im Rest dieses Abschnitts wird die Einrichtung des VPC-Endpunkts beschrieben. Weitere Informationen zu NAT-Gateways finden Sie unter NAT-Gateways.

Erforderliche VPC-Endpunkte

Service	Endpunkttyp	Erforderlich für
Amazon S3 (com.amazonaws.region.s3)	Gateway	Datenzugriff auf Amazon S3 und Amazon S3 Tables
AWS Glue (com.amazonaws.region.glue)	Schnittstelle	AWS Glue Data Catalog Zugriff

Einen Amazon S3 S3-Gateway-Endpunkt erstellen

Erstellen Sie einen Amazon S3 S3-Gateway-Endpunkt und verknüpfen Sie ihn mit den Routentabellen, die von den Subnetzen Ihres Aurora-DB-Clusters verwendet werden.

Weitere Informationen finden Sie im AWS PrivateLink Handbuch unter Erstellen eines Gateway-Endpunkts für Amazon S3.

Erstellen eines AWS Glue Schnittstellen-Endpunkt

Wenn Sie verwenden AWS Glue Data Catalog, erstellen Sie einen AWS Glue VPC-Schnittstellenendpunkt mit der folgenden Konfiguration:

• Stellen Sie es in denselben Subnetzen wie Ihr Aurora-DB-Cluster bereit.

• Aktivieren Sie Private DNS.

• Fügen Sie eine Sicherheitsgruppe hinzu, die eingehenden Datenverkehr auf TCP-Port 443 von Ihrem VPC-CIDR-Block oder von derselben Sicherheitsgruppe, die von Ihrem Aurora PostgreSQL-DB-Cluster verwendet wird, zulässt.

Weitere Informationen finden Sie im Handbuch unter Erstellen eines Schnittstellenendpunkts.AWS PrivateLink

Aktivierung der Funktion in der Parametergruppe

Standardmäßig ist der false-Parameter auf aurora_analytics.enabled eingestellt. Nachdem Sie den DB-Cluster erstellt haben, aktivieren Sie die Funktion, indem Sie diesen Parameter true in der DB-Cluster-Parametergruppe auf setzen.

Um die Funktion zu aktivieren, verwenden Sie AWS CLI

• aws rds modify-db-cluster-parameter-group \
    --db-cluster-parameter-group-name my-analytics-params \
    --parameters "ParameterName=aurora_analytics.enabled,ParameterValue=true,ApplyMethod=immediate"

aurora_analytics.enabledGilt als dynamischer Parameter sofort ohne Neustart.

Anmerkung

Dies gilt, wenn Ihr DB-Cluster eine benutzerdefinierte DB-Cluster-Parametergruppe verwendet. Sie können die Standardparametergruppe nicht ändern. Wenn Ihr Cluster immer noch den Standard verwendet, erstellen Sie zunächst eine benutzerdefinierte DB-Cluster-Parametergruppe und ordnen Sie sie dem Cluster zu. Das Zuordnen einer anderen Parametergruppe erfordert einen Neustart der DB-Instances, damit die neue Gruppe wirksam wird, obwohl sie aurora_analytics.enabled selbst dynamisch ist. Weitere Informationen finden Sie unter Arbeiten mit DB-Cluster-Parametergruppen im Aurora-Benutzerhandbuch.

Um die Funktion zu aktivieren, verwenden Sie AWS Management Console

1. Öffnen Sie die Amazon RDS-Konsole unter https://console.aws.amazon.com/rds/.

2. Wählen Sie im Navigationsbereich Parameter groups (Parametergruppen) aus.

3. Wählen Sie die Parametergruppe aus, die Ihrem Aurora-DB-Cluster zugeordnet ist.

4. Suchen Sie nach aurora_analytics.enabled.

5. Legen Sie den Wert auf true fest.

6. Wählen Sie Änderungen speichern aus.

Nächste Schritte

Nachdem Sie diese Schritte abgeschlossen haben, können Sie loslegen. Weitere Informationen finden Sie unter Erste Schritte.

Hinweise zur Auswahl der richtigen DB-Instance-Klasse und zur richtigen Dimensionierung für Ihren Workload finden Sie unterBewährte Methoden.