Athena mit einem Apache Hive-Metastore Connect - Amazon Athena

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Athena mit einem Apache Hive-Metastore Connect

Um eine Verbindung von Athena zu einem Apache-Hive-Metastore herzustellen, müssen Sie eine Lambda-Funktion erstellen und konfigurieren. Für eine grundlegende Implementierung können Sie alle erforderlichen Schritte zum Start von der Athena-Verwaltungskonsole aus ausführen.

Anmerkung

Für das folgende Verfahren benötigen Sie die Berechtigung, eine benutzerdefinierte IAM Rolle für die Lambda-Funktion zu erstellen. Wenn Sie nicht berechtigt sind, eine benutzerdefinierte Rolle zu erstellen, können Sie die Athena-Referenzimplementierung verwenden, um eine Lambda-Funktion separat zu erstellen, und dann die AWS Lambda Konsole verwenden, um eine vorhandene IAM Rolle für die Funktion auszuwählen. Weitere Informationen finden Sie unter Athena mithilfe einer vorhandenen Ausführungsrolle mit einem Hive-Metastore Connect IAM.

So stellen Sie eine Verbindung von Athena zu einem Hive-Metastore her:

  1. Öffnen Sie die Athena-Konsole unter https://console.aws.amazon.com/athena/.

  2. Wenn der Navigationsbereich in der Konsole nicht sichtbar ist, wählen Sie das Erweiterungsmenü auf der linken Seite.

    Wählen Sie das Erweiterungsmenü aus.

  3. Wählen Sie Datenquellen und Kataloge aus.

  4. Wählen Sie oben rechts in der Konsole Datenquelle erstellen aus.

  5. Wählen Sie auf der Seite Eine Datenquelle wählen für Datenquelle S3 - Apache Hive Metastore.

  6. Wählen Sie Weiter.

  7. Geben Sie im Abschnitt Datenquellendetails für Datenquellenname den Namen ein, den Sie in Ihren SQL Kontoauszügen verwenden möchten, wenn Sie die Datenquelle von Athena abfragen. Der Name kann bis zu 127 Zeichen lang sein und muss innerhalb Ihres Kontos eindeutig sein. Er kann nicht mehr geändert werden, nachdem Sie ihn erstellt haben. Gültige Zeichen sind a-z, A-Z, 0-9, _ (Unterstrich), @ (At-Zeichen) und - (Bindestrich). Die Namen awsdatacatalog, hive, jmx und system sind von Athena reserviert und können nicht für Datenquellennamen verwendet werden.

  8. Wählen Sie für Lambda-Funktion die Option Lambda-Funktion erstellen aus, und wählen Sie dann Neue Lambda-Funktion erstellen in AWS Lambda

    Die AthenaHiveMetastoreFunctionSeite wird in der Konsole geöffnet. AWS Lambda Die Seite enthält detaillierte Informationen zum Connector.

    Die AthenaHiveMetastoreFunctionSeite in der AWS Lambda Konsole.

  9. Geben Sie unter Application settings (Anwendungseinstellungen) die Parameter für Ihre Lambda-Funktion ein.

    • LambdaFuncName— Geben Sie einen Namen für die Funktion ein. Beispiel, myHiveMetastore.

    • SpillLocation— Geben Sie in diesem Konto einen Amazon S3 S3-Standort an, um Spillover-Metadaten zu speichern, falls die Antwortgröße der Lambda-Funktion 4 MB überschreitet.

    • HMSUris— Geben Sie den URI Ihres Hive-Metastore-Hosts, der das Thrift-Protokoll verwendet, an Port 9083 ein. Verwenden der Syntax thrift://<host_name>:9083.

    • LambdaMemory— Geben Sie einen Wert zwischen 128 MB und 3008 MB an. Der Lambda-Funktion werden CPU Zyklen zugewiesen, die proportional zur Speichermenge sind, die Sie konfigurieren. Der Standardwert ist 1024.

    • LambdaTimeout— Geben Sie die maximal zulässige Laufzeit des Lambda-Aufrufs in Sekunden von 1 bis 900 an (900 Sekunden sind 15 Minuten). Der Standardwert ist 300 Sekunden (5 Minuten).

    • VPCSecurityGroupIds— Geben Sie eine durch Kommas getrennte Liste der VPC Sicherheitsgruppen IDs für den Hive-Metastore ein.

    • VPCSubnetIds— Geben Sie eine durch Kommas getrennte Liste von VPC Subnetzen für den Hive-Metastore ein. IDs

  10. Wählen Sie Ich bestätige, dass diese App benutzerdefinierte IAM Rollen erstellt, und wählen Sie dann Bereitstellen aus.

    Bereitstellen der Lambda Funktions-App über die AWS Lambda -Konsole.

    Wenn die Bereitstellung abgeschlossen ist, wird Ihre Funktion in Ihrer Liste der Lambda-Anwendungen angezeigt. Nachdem die Hive-Metastore-Funktion für Ihr Konto bereitgestellt wurde, können Sie Athena für die Verwendung konfigurieren.

  11. Kehren Sie zur Seite Datenquellendetails eingeben der Athena-Konsole zurück.

  12. Wählen Sie im Abschnitt Lambada-Funktion das Symbol Aktualisieren neben dem Lambda-Funktionssuchfeld aus. Wenn Sie die Liste der verfügbaren Funktionen aktualisieren, wird Ihre neu erstellte Funktion in der Liste angezeigt.

  13. Wählen Sie den Namen der Funktion aus, die Sie gerade in der Lambda-Konsole erstellt haben. Die ARN Lambda-Funktion wird angezeigt.

  14. (Optional) Fügen Sie für Tags Schlüssel-Wert-Paare hinzu, die mit dieser Datenquelle verknüpft werden sollen. Weitere Informationen zu Tags erhalten Sie unter Schlagwort: Athena resources.

  15. Wählen Sie Weiter.

  16. Auf der Seite Überprüfen und erstellen prüfen Sie die Datenquellendetails und wählen Sie dann Datenquelle erstellen aus.

  17. Der Abschnitt Datenquellendetails auf der Seite für Ihre Datenquelle zeigt Informationen über Ihren neuen Connector an.

    Sie können jetzt den von Ihnen angegebenen Datenquellennamen verwenden, um in Ihren SQL Abfragen in Athena auf den Hive-Metastore zu verweisen. Verwenden Sie in Ihren SQL Abfragen die folgende Beispielsyntax und hms-catalog-1 ersetzen Sie sie durch den Katalognamen, den Sie zuvor angegeben haben.

    SELECT * FROM hms-catalog-1.CustomerData.customers

  18. Informationen zum Anzeigen, Bearbeiten oder Löschen der von Ihnen erstellten Datenquellen finden Sie unter Verwalte deine Datenquellen.