Amazon Athena AWS CMDB-Anschluss

Der Amazon Athena AWS CMDB-Connector ermöglicht Athena die Kommunikation mit verschiedenen AWS Diensten, sodass Sie diese mit SQL abfragen können.

Dieser Konnektor kann bei Glue Data Catalog als Verbundkatalog registriert werden. Es unterstützt in Lake Formation definierte Datenzugriffskontrollen auf Katalog-, Datenbank-, Tabellen-, Spalten-, Zeilen- und Tagebene. Dieser Konnektor verwendet Glue Connections, um die Konfigurationseigenschaften in Glue zu zentralisieren.

Voraussetzungen

• Stellen Sie den Konnektor für Ihr AWS-Konto mithilfe der Athena-Konsole oder AWS Serverless Application Repository bereit. Weitere Informationen finden Sie unter Erstellen Sie eine Datenquellenverbindung oder Verwenden Sie den AWS Serverless Application Repository , um einen Datenquellen-Connector bereitzustellen.

Parameter

Verwenden Sie die Parameter in diesem Abschnitt, um den AWS CMDB-Connector zu konfigurieren.

Klebeverbindungen (empfohlen)

Es wird empfohlen, einen AWS CMDB-Connector mithilfe eines Glue-Verbindungsobjekts zu konfigurieren. Setzen Sie dazu die glue_connection Umgebungsvariable des AWS CMDB-Konnektors Lambda auf den Namen der zu verwendenden Glue-Verbindung.

Eigenschaften von Klebeverbindungen

Verwenden Sie den folgenden Befehl, um das Schema für ein Glue-Verbindungsobjekt abzurufen. Dieses Schema enthält alle Parameter, mit denen Sie Ihre Verbindung steuern können.

aws glue describe-connection-type --connection-type CMDB

Eigenschaften der Lambda-Umgebung

glue_connection — Gibt den Namen der Glue-Verbindung an, die dem Verbundstecker zugeordnet ist.

Anmerkung

• Alle Konnektoren, die Glue-Verbindungen verwenden, müssen diese AWS Secrets Manager zum Speichern von Anmeldeinformationen verwenden.

• Der mit Glue-Verbindungen erstellte AWS CMDB-Konnektor unterstützt die Verwendung eines Multiplexing-Handlers nicht.

• Der mit Glue-Verbindungen erstellte AWS CMDB-Connector unterstützt nur 2. ConnectionSchemaVersion

Legacy-Verbindungen

Anmerkung

Athena-Datenquellenconnectors, die am 3. Dezember 2024 und später erstellt wurden, verwenden AWS Glue Verbindungen.

Die unten aufgeführten Parameternamen und Definitionen beziehen sich auf Athena-Datenquellenkonnektoren, die ohne eine zugehörige Glue-Verbindung erstellt wurden. Verwenden Sie die folgenden Parameter nur, wenn Sie eine frühere Version eines Athena-Datenquellenconnectors manuell bereitstellen oder wenn die glue_connection Umgebungseigenschaft nicht angegeben ist.

Eigenschaften der Lambda-Umgebung

• spill_bucket – Gibt den Amazon S3-Bucket für Daten an, die die Lambda-Funktionsgrenzen überschreiten.

• spill_prefix – (Optional) Ist standardmäßig ein Unterordner im angegebenen spill_bucket genannt athena-federation-spill. Wir empfehlen Ihnen, einen Amazon-S3-Speicher-Lebenszyklus an dieser Stelle zu konfigurieren, um die Überlaufe zu löschen, die älter als eine festgelegte Anzahl von Tagen oder Stunden sind.

• spill_put_request_headers – (Optional) Eine JSON-codierte Zuordnung von Anforderungsheadern und Werten für die Amazon-S3-putObject-Anforderung, die für den Überlauf verwendet wird (z. B. {"x-amz-server-side-encryption" : "AES256"}). Weitere mögliche Header finden Sie PutObjectin der Amazon Simple Storage Service API-Referenz.

• kms_key_id – (Optional) Standardmäßig werden alle Daten, die an Amazon S3 gesendet werden, mit dem AES-GCM-authentifizierten Verschlüsselungsmodus und einem zufällig generierten Schlüssel verschlüsselt. Damit Ihre Lambda-Funktion stärkere Verschlüsselungsschlüssel verwendet, die von KMS generiert werden, wiea7e63k4b-8loc-40db-a2a1-4d0en2cd8331, können Sie eine ID einer Verschlüsselung angeben.

• disable_spill_encryption – (Optional) Bei Einstellung auf True, wird die Spill-Verschlüsselung deaktiviert. Die Standardeinstellung ist False, sodass Daten, die an S3 übertrragen werden, mit AES-GCM verschlüsselt werden - entweder mit einem zufällig generierten Schlüssel oder mit KMS zum Generieren von Schlüsseln. Das Deaktivieren der Überlauf-Verschlüsselung kann die Leistung verbessern, insbesondere wenn Ihr Überlauf-Standort eine serverseitige Verschlüsselung verwendet.

• default_ec2_image_owner — (Optional) Wenn diese Option gesetzt ist, steuert sie den standardmäßigen EC2 Amazon-Image-Besitzer, der Amazon Machine Images (AMI) filtert. Wenn Sie diesen Wert nicht festlegen und Ihre Abfrage für die EC2 Bildertabelle keinen Filter für den Eigentümer enthält, enthalten Ihre Ergebnisse alle öffentlichen Bilder.

Datenbanken und Tabellen

Der Athena AWS CMDB-Connector stellt die folgenden Datenbanken und Tabellen für die Abfrage Ihres Ressourceninventars zur Verfügung. AWS Um weitere Informationen zu den in den einzelnen Tabellen verfügbaren Spalten zu erhalten, führen Sie eine DESCRIBE database.table-Anweisung mithilfe der Athena-Konsole oder -API aus.

• ec2 — Diese Datenbank enthält EC2 Amazon-bezogene Ressourcen, darunter die folgenden.

• ebs_volumes – Enthält Details Ihrer Amazon EBS-Volumes.

• ec2_instances — Enthält Details zu Ihren Instances. EC2

• ec2_images — Enthält Details zu Ihren Instance-Images. EC2

• routing_tables – Enthält Details zu Ihren VPC-Routing-Tabellen.

• security_groups – Enthält Details zu Ihren Sicherheitsgruppen.

• subnets – Enthält Details zu Ihren VPC-Subnetzen.

• vpcs — Enthält Details zu Ihrem. VPCs

• emr – Diese Datenbank enthält Amazon EMR-bezogene Ressourcen, einschließlich der Folgenden.

• emr_cluster – Enthält Details zu Ihren EMR-Clustern.

• rds – Diese Datenbank enthält Amazon RDS-bezogene Ressourcen, einschließlich der Folgenden.

• rds_instances – Enthält Details zu Ihren RDS-Instances.

• S3 – Diese Datenbank enthält RDS-bezogene Ressourcen, einschließlich der Folgenden.

• buckets – Enthält Details Ihrer Amazon-S3-Buckets.

• objects – Enthält Details zu Ihren Amazon-S3-Objekten, ausgenommen deren Inhalt.

Erforderliche Berechtigungen

Vollständige Informationen zu den IAM-Richtlinien, die für diesen Connector erforderlich sind, finden Sie im Policies Abschnitt der athena-aws-cmdb.yaml-Datei. In der folgenden Liste sind die erforderlichen Berechtigungen zusammengefasst.

• Amazon-S3-Schreibzugriff – Der Konnektor benötigt Schreibzugriff auf einen Speicherort in Amazon S3, um Ergebnisse aus großen Abfragen zu übertragen.

• Athena GetQueryExecution — Der Konnektor verwendet diese Berechtigung, um einen Fast-Fail auszuführen, wenn die Upstream-Athena-Abfrage beendet wurde.

• S3 List – Der Konnektor verwendet diese Berechtigung, um Ihre Amazon-S3-Buckets und -Objekte aufzulisten.

• EC2 Beschreiben — Der Connector verwendet diese Berechtigung, um Ressourcen wie Ihre EC2 Amazon-Instances, Sicherheitsgruppen und Amazon EBS-Volumes zu beschreiben. VPCs

• EMR Describe / List – Der Konnektor verwendet diese Berechtigung, um Ihre EMR-Cluster zu beschreiben.

• RDS Describe – Der Konnektor verwendet diese Berechtigung, um Ihre RDS-Instanzen zu beschreiben.

Leistung

Derzeit unterstützt der Athena AWS CMDB-Connector keine parallel Scans. Der Prädikat-Pushdown wird innerhalb der Lambda-Funktion ausgeführt. Wenn möglich, werden Teilprädikate an die abgefragten Dienste übertragen. Beispielsweise ruft eine Abfrage nach den Details einer bestimmten EC2 Amazon-Instance die EC2 API mit der spezifischen Instance-ID auf, um eine gezielte Beschreibungsoperation auszuführen.

Lizenzinformationen

Das Amazon Athena AWS CMDB-Connector-Projekt ist unter der Apache-2.0-Lizenz lizenziert.

Weitere Ressourcen

Weitere Informationen zu diesem Connector finden Sie auf der entsprechenden Website unter .com. GitHub