Verwenden Sie Amazon Athena Federated Query

Wenn Daten in anderen Quellen als Amazon S3 vorliegen, können Sie Athena-Verbundabfrage verwenden, um die Daten direkt in diesen Quellen abzufragen oder um Pipelines zu erstellen, die Daten aus mehreren Datenquellen extrahieren und in Amazon S3 speichern. Mit Athena Federated Query können Sie SQL Abfragen für Daten ausführen, die in relationalen, nicht-relationalen, Objekt- und benutzerdefinierten Datenquellen gespeichert sind.

Athena verwendet Datenquellenconnectors, auf denen AWS Lambda Verbundabfragen ausgeführt werden. Ein Datenquellen-Connector ist ein Codestück, das zwischen der Zieldatenquelle und Athena übersetzen kann. Sie können sich einen Connector als eine Erweiterung der Abfrage-Engine von Athena vorstellen. Vorkonfigurierte Athena-Datenquellen-Konnektoren gibt es für Datenquellen wie Amazon CloudWatch Logs, Amazon DynamoDB, Amazon DocumentDB und Amazon RDS sowie JDBC konforme relationale Datenquellen wie My und Postgre unter der Apache SQL 2.0-Lizenz. SQL Sie können auch die Athena Query Federation verwendenSDK, um benutzerdefinierte Konnektoren zu schreiben. Um einen Datenquellen-Connector für Ihr Konto auszuwählen, zu konfigurieren und bereitzustellen, können Sie die Athena- und Lambda-Konsole oder AWS Serverless Application Repository verwenden. Nachdem Sie Datenquellenconnectors bereitgestellt haben, wird der Connector einem Katalog zugeordnet, den Sie in SQL Abfragen angeben können. Sie können SQL Anweisungen aus mehreren Katalogen kombinieren und sich über mehrere Datenquellen mit einer einzigen Abfrage erstrecken.

Wenn für eine Datenquelle eine Abfrage ausgeführt wird, ruft Athena den entsprechenden Connector auf, um die Teile der Tabellen zu identifizieren, die gelesen werden müssen, verwaltet die Parallelität und schiebt Filterprädikate nach unten. Basierend auf dem Benutzer, der die Abfrage übermittelt, können Connectors den Zugriff auf bestimmte Datenelemente zulassen oder einschränken. Connectors verwenden Apache Arrow als Format für die von einer Abfrage angeforderten zurückgegebenen Daten. Dies ermöglicht die Implementierung von Connectors in Sprachen wie C, C++, Java, Python und Rust. Da Connectors in Lambda verarbeitet werden, können sie für den Zugriff auf Daten aus beliebigen Cloud- oder On-Premises-Datenquellen verwendet werden, auf die Lambda zugreifen kann.

Um Ihren eigenen Datenquellen-Connector zu schreiben, können Sie den Athena Query Federation verwendenSDK, um einen der von Amazon Athena bereitgestellten und verwalteten vorgefertigten Konnektoren anzupassen. Sie können eine Kopie des Quellcodes aus dem GitHub Repository ändern und dann das Connector-Veröffentlichungstool verwenden, um Ihr eigenes Paket zu erstellen. AWS Serverless Application Repository

Anmerkung

Drittanbieter haben möglicherweise die Athena Query Federation verwendet, SDK um Datenquellen-Konnektoren zu schreiben. Bei Support- oder Lizenzierungsproblemen mit diesen Datenquellen-Connectors wenden Sie sich bitte an Ihren Connector-Anbieter. Diese Konnektoren werden von weder getestet noch unterstützt AWS.

Eine Liste der Datenquellen-Connectors, die von Athena geschrieben und getestet wurden, finden Sie unter Verfügbare Datenquellenkonnektoren.

Informationen zum Schreiben Ihres eigenen Datenquellen-Connectors finden Sie unter Beispiel für einen Athena-Connector. GitHub

Überlegungen und Einschränkungen

• Engine-Versionen – Athena-Verbundabfrage wird nur von der Athena-Engine-Version 2 und späteren Versionen unterstützt. Weitere Informationen über Athena-Engine-Versionen finden Sie unter Athena-Engine-Versionierung.

• Ansichten – Sie können Ansichten für verbundene Datenquellen erstellen und abfragen. Verbundene Ansichten werden in AWS Glue, nicht in der zugrunde liegenden Datenquelle gespeichert. Weitere Informationen finden Sie unter Föderierte Ansichten abfragen.

• Schreiboperationen – Schreiboperationen wie INSERT INTO werden nicht unterstützt. Ein Versuch, dies zu tun, kann zur Fehlermeldung führen: Dieser Vorgang wird derzeit für externe Kataloge nicht unterstützt.

• Preise – Informationen zu den Preisen finden unter Amazon-Athena-Preise.

  JDBCTreiber — Wenn Sie den JDBC Treiber mit Verbundabfragen oder einem externen Hive-Metastore verwenden möchten, fügen Sie ihn MetadataRetrievalMethod=ProxyAPI in Ihre Verbindungszeichenfolge ein. JDBC Informationen zum JDBC Treiber finden Sie unter. Connect zu Amazon Athena her mit JDBC

• Secrets Manager — Um die Athena Federated Query-Funktion mit verwenden zu können AWS Secrets Manager, müssen Sie einen VPC privaten Amazon-Endpunkt für Secrets Manager konfigurieren. Weitere Informationen finden Sie unter Erstellen eines VPC privaten Secrets Manager Manager-Endpunkts im AWS Secrets Manager Benutzerhandbuch.

Datenquellen-Connectors benötigen möglicherweise Zugriff auf die folgenden Ressourcen, um ordnungsgemäß zu funktionieren. Wenn Sie einen vorgefertigten Connector verwenden, überprüfen Sie die Informationen für den Connector, um sicherzustellen, dass Sie Ihren VPC richtig konfiguriert haben. Stellen Sie außerdem sicher, dass IAM Prinzipale, die Abfragen ausführen und Connectors erstellen, über Rechte für die erforderlichen Aktionen verfügen. Weitere Informationen finden Sie unter Beispiel für IAM-Berechtigungsrichtlinien zum Zulassen von Athena Federated Query.

• Amazon S3 – Zusätzlich zum Schreiben von Abfrageergebnissen zum Athena-Abfrageergebnisspeicherort in Amazon S3 schreiben Daten-Connectors auch zu einem Spill-Bucket in Amazon S3. Konnektivität und Berechtigungen für diesen Amazon-S3-Standort sind erforderlich.

• Athena – Datenquellen benötigen Konnektivität mit Athena und umgekehrt, um den Abfragestatus zu prüfen und ein übermäßiges Scannen zu verhindern.

• AWS Glue Data Catalog – Es sind Verbindungen und Berechtigungen erforderlich, wenn Ihr Connector Datenkatalog für ergänzende oder primäre Metadaten verwendet.

Videos

Sehen Sie sich die folgenden Videos an, um mehr über die Verwendung von Athena Federated Query zu erfahren.

Video: Analysieren Sie die Ergebnisse einer Verbundabfrage in Amazon Athena in Amazon QuickSight

Das folgende Video zeigt, wie die Ergebnisse einer Athena-Verbundabfrage in Amazon analysiert werden. QuickSight

Video: Game Analytics Pipeline

Das folgende Video zeigt, wie Sie eine skalierbare Serverless-Data-Pipeline bereitstellen, um Telemetriedaten aus Spielen und Diensten mithilfe von Amazon-Athena-Verbundabfragen aufzunehmen, zu speichern und zu analysieren.