Verwenden des AWS Serverless Application Repository zum Bereitstellen eines Hive-Datenquellenconnectors - Amazon Athena

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden des AWS Serverless Application Repository zum Bereitstellen eines Hive-Datenquellenconnectors

Um einen Athena-Datenquellen-Connector für Hive bereitzustellen, können Sie dieAWS Serverless Application Repository verwenden anstatt mit der Athena-Konsole zu beginnen. Verwenden Sie den AWS Serverless Application Repository , um den Connector zu finden, den Sie verwenden möchten, geben Sie die Parameter an, die der Connector benötigt, und stellen Sie den Connector dann für Ihr Konto bereit. Nachdem Sie den Connector bereitgestellt haben, verwenden Sie die Athena-Konsole, um die Datenquelle für Athena verfügbar zu machen.

Um den zu verwenden AWS Serverless Application Repository , um einen Datenquellen-Connector für Hive für Ihr Konto bereitzustellen

  1. Melden Sie sich beim Serverless App Repository an AWS Management Console und öffnen Sie es.

  2. Wählen Sie im Navigationsbereich Available applications (Verfügbare Anwendungen) aus.

  3. Wählen Sie die Option Apps anzeigen, die benutzerdefinierte IAM-Rollen oder Ressourcenrichtlinien erstellen.

  4. Geben Sie in das Suchfeld Hive ein. Zu den angezeigten Connectors gehören die folgenden zwei:

    • AthenaHiveMetastoreFunction – Uber-Lambda-Funktion .jar-Datei.

    • AthenaHiveMetastoreFunctionWithLayer— Lambda-Schicht und dünne .jar Lambda-Funktionsdatei.

    Die beiden Anwendungen besitzen dieselbe Funktionalität und unterscheiden sich nur in der Implementierung. Sie können beide für die Erstellung einer Lambda-Funktion verwenden, die Athena mit Ihrem Hive-Metastore verbindet.

  5. Wählen Sie den Namen des Connectors aus, den Sie verwenden möchten. In diesem Tutorial wird ein AthenaHiveMetastoreFunction verwendet.

    Auswahl des Namens des Athena-Datenquellen-Connectors für Hive.

  6. Geben Sie unter Application settings (Anwendungseinstellungen) die Parameter für Ihre Lambda-Funktion ein.

    • LambdaFuncName— Geben Sie einen Namen für die Funktion ein. Zum Beispiel myHiveMetastore.

    • SpillLocation— Geben Sie in diesem Konto einen Amazon S3 S3-Standort an, um Spillover-Metadaten zu speichern, falls die Antwortgröße der Lambda-Funktion 4 MB überschreitet.

    • HMSUris – Geben Sie den URI Ihres Hive-Metastore-Hosts ein, der das Thrift-Protokoll an Port 9083 verwendet. Verwenden der Syntax thrift://<host_name>:9083.

    • LambdaMemory— Geben Sie einen Wert zwischen 128 MB und 3008 MB an. Der Lambda-Funktion werden CPU-Zyklen proportional zur von Ihnen konfigurierten Speichermenge zugewiesen. Der Standardwert ist 1024.

    • LambdaTimeout— Geben Sie die maximal zulässige Laufzeit des Lambda-Aufrufs in Sekunden von 1 bis 900 an (900 Sekunden sind 15 Minuten). Der Standardwert ist 300 Sekunden (5 Minuten).

    • VPC SecurityGroupIds — Geben Sie eine durch Kommas getrennte Liste von VPC-Sicherheitsgruppen-IDs für den Hive-Metastore ein.

    • VPC SubnetIds — Geben Sie eine durch Kommas getrennte Liste von VPC-Subnetz-IDs für den Hive-Metastore ein.

  7. Wählen Sie unten rechts auf der Seite Anwendungsdetails die Option Ich bestätige, dass diese App benutzerdefinierte IAM-Rollen erstellt und wählen Sie dann Bereitstellen aus.

An diesem Punkt können Sie Athena so konfigurieren, dass Ihre Lambda-Funktion zur Verbindung mit Ihrem Hive-Metastore verwendet wird. Informationen zu den erforderlichen Schritten finden Sie unter Konfigurieren Sie Athena für die Verwendung eines bereitgestellten Hive-Metastore-Connectors.