Amazon Athena Athena-Anschluss OpenSearch - Amazon Athena
VoraussetzungenBedingungenParameterEinrichten von Datenbanken und Tabellen in AWS GlueAusführen von SQL-AbfragenLeistungPassthrough-AbfragenWeitere Ressourcen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon Athena Athena-Anschluss OpenSearch

OpenSearch Dienst

Der Amazon OpenSearch Athena-Connector ermöglicht Amazon Athena die Kommunikation mit Ihren OpenSearch Instances, sodass Sie SQL verwenden können, um Ihre OpenSearch Daten abzufragen.

Anmerkung

Aufgrund eines bekannten Problems kann der OpenSearch Connector nicht mit einer VPC verwendet werden.

Wenn Sie Lake Formation in Ihrem Konto aktiviert haben, AWS Serverless Application Repository muss die IAM-Rolle für Ihren Athena Federated Lambda Connector, den Sie in der bereitgestellt haben, Lesezugriff in Lake Formation haben. AWS Glue Data Catalog

Voraussetzungen

Bedingungen

Die folgenden Begriffe beziehen sich auf den Konnektor. OpenSearch

  • Domain — Ein Name, den dieser Connector dem Endpunkt Ihrer OpenSearch Instance zuordnet. Die Domain wird auch als Datenbankname verwendet. Für OpenSearch Instances, die innerhalb des Amazon OpenSearch Service definiert sind, ist die Domain automatisch auffindbar. Für andere Instances müssen Sie eine Zuordnung zwischen dem Domainnamen und dem Endpunkt bereitstellen.

  • Index — Eine in Ihrer OpenSearch Instance definierte Datenbanktabelle.

  • Mapping – Wenn ein Index eine Datenbanktabelle ist, dann ist das Mapping sein Schema (d. h. die Definitionen seiner Felder und Attribute).

    Dieser Konnektor unterstützt sowohl das Abrufen von Metadaten aus der OpenSearch Instanz als auch von der AWS Glue Data Catalog. Wenn der Connector eine AWS Glue Datenbank und eine Tabelle findet, die Ihren OpenSearch Domänen- und Indexnamen entsprechen, versucht der Connector, sie für die Schemadefinition zu verwenden. Wir empfehlen Ihnen, Ihre AWS Glue Tabelle so zu erstellen, dass sie eine Obermenge aller Felder in Ihrem OpenSearch Index darstellt.

  • Dokument – Ein Datensatz innerhalb einer Datenbanktabelle.

  • Datenstrom – Zeitbasierte Daten, die aus mehreren Hintergrundindizes bestehen. Weitere Informationen finden Sie unter Datenstreams in der OpenSearch Dokumentation und Erste Schritte mit Datenströmen im Amazon OpenSearch Service Developer Guide.

    Anmerkung

    Da Datenstrom-Indizes intern von Open Search erstellt und verwaltet werden, wählt der Konnektor die Schemazuordnung aus dem ersten verfügbaren Index aus. Aus diesem Grund empfehlen wir dringend, eine AWS Glue Tabelle als zusätzliche Metadatenquelle einzurichten. Weitere Informationen finden Sie unter Einrichten von Datenbanken und Tabellen in AWS Glue.

Parameter

Verwenden Sie die Lambda-Umgebungsvariablen in diesem Abschnitt, um den OpenSearch Konnektor zu konfigurieren.

  • spill_bucket – Gibt den Amazon S3-Bucket für Daten an, die die Lambda-Funktionsgrenzen überschreiten.

  • spill_prefix – (Optional) Ist standardmäßig ein Unterordner im angegebenen spill_bucket genannt athena-federation-spill. Wir empfehlen Ihnen, einen Amazon-S3-Speicher-Lebenszyklus an dieser Stelle zu konfigurieren, um die Überlaufe zu löschen, die älter als eine festgelegte Anzahl von Tagen oder Stunden sind.

  • spill_put_request_headers – (Optional) Eine JSON-codierte Zuordnung von Anforderungsheadern und Werten für die Amazon-S3-putObject-Anforderung, die für den Überlauf verwendet wird (z. B. {"x-amz-server-side-encryption" : "AES256"}). Weitere mögliche Header finden Sie PutObjectin der Amazon Simple Storage Service API-Referenz.

  • kms_key_id – (Optional) Standardmäßig werden alle Daten, die an Amazon S3 gesendet werden, mit dem AES-GCM-authentifizierten Verschlüsselungsmodus und einem zufällig generierten Schlüssel verschlüsselt. Damit Ihre Lambda-Funktion stärkere Verschlüsselungsschlüssel verwendet, die von KMS generiert werden, wiea7e63k4b-8loc-40db-a2a1-4d0en2cd8331, können Sie eine ID einer Verschlüsselung angeben.

  • disable_spill_encryption – (Optional) Bei Einstellung auf True, wird die Spill-Verschlüsselung deaktiviert. Die Standardeinstellung ist False, sodass Daten, die an S3 übertrragen werden, mit AES-GCM verschlüsselt werden - entweder mit einem zufällig generierten Schlüssel oder mit KMS zum Generieren von Schlüsseln. Das Deaktivieren der Überlauf-Verschlüsselung kann die Leistung verbessern, insbesondere wenn Ihr Überlauf-Standort eine serverseitige Verschlüsselung verwendet.

  • disable_glue — (Optional) Falls vorhanden und auf true gesetzt, versucht der Connector nicht, zusätzliche Metadaten von abzurufen. AWS Glue

  • query_timeout_cluster – Der Timeout-Zeitraum in Sekunden für Cluster-Integritätsabfragen, die bei der Generierung parallel Scans verwendet werden.

  • query_timeout_search – Die Zeitüberschreitungsdauer in Sekunden für Suchanfragen, die beim Abrufen von Dokumenten aus einem Index verwendet werden.

  • auto_discover_endpoint – Boolesch. Der Standardwert ist true. Wenn Sie den OpenSearch Amazon-Service verwenden und diesen Parameter auf true setzen, kann der Connector Ihre Domains und Endpunkte automatisch erkennen, indem er die entsprechenden Describe- oder List-API-Operationen für den OpenSearch Service aufruft. Für jede andere Art von OpenSearch Instance (z. B. selbst gehostet) müssen Sie die zugehörigen Domain-Endpunkte in der Variablen angeben. domain_mapping Fallsauto_discover_endpoint=true, verwendet der Connector AWS Anmeldeinformationen, um sich beim Service zu authentifizieren. OpenSearch Andernfalls ruft der Connector die Anmeldeinformationen für Benutzername und Passwort AWS Secrets Manager über die domain_mapping Variable ab.

  • domain_mapping – Wird nur verwendet, wenn auto_discover_endpoint auf „false“ (falsch) gesetzt ist und die Zuordnung zwischen Domainnamen und den zugehörigen Endpunkten definiert. Die domain_mapping Variable kann mehrere OpenSearch Endpunkte im folgenden Format aufnehmen:

    domain1=endpoint1,domain2=endpoint2,domain3=endpoint3,...

    Für die Authentifizierung an einem OpenSearch Endpunkt unterstützt der Konnektor Ersatzzeichenfolgen, die in dem Format ${SecretName}: eingegeben werden, aus dem der Benutzername und das Passwort abgerufen wurden. AWS Secrets Manager Der Doppelpunkt (:) am Ende des Ausdrucks dient als Trennzeichen vom Rest des Endpunkts.

    Wichtig

    Als bewährte Sicherheitsmethode sollten Sie keine fest kodierten Anmeldeinformationen in Ihren Umgebungsvariablen oder Verbindungszeichenfolgen verwenden. Informationen zum Verschieben von hartcodierten Geheimnissen nach finden Sie im AWS Secrets Manager Benutzerhandbuch unter Verschieben von hartcodierten AWS Secrets Manager Geheimnissen nach.AWS Secrets Manager

    Im folgenden Beispiel wird das opensearch-creds-Secret verwendet.

    movies=https://${opensearch-creds}:search-movies-ne...qu.us-east-1.es.amazonaws.com

    Bei der Ausführung wird ${opensearch-creds} wie im folgenden Beispiel als Benutzername und -Passwort wiedergegeben.

    movies=https://myusername@mypassword:search-movies-ne...qu.us-east-1.es.amazonaws.com

    Im domain_mapping-Parameter kann jedes Domain-Endpunkt-Paar ein anderes Secret verwenden. Das Secret selbst muss im Format user_name@password angegeben werden. Obwohl das Passwort eingebettete @-Zeichen enthalten kann, dient das erste@ als Trennzeichen von user_name.

    Es ist auch wichtig zu beachten, dass das Komma (,) und das Gleichheitszeichen (=) von diesem Konnektor als Trennzeichen für die Domain-Endpunkt-Paare verwendet werden. Aus diesem Grund sollten Sie sie nicht innerhalb des gespeicherten Secrets verwenden.

Einrichten von Datenbanken und Tabellen in AWS Glue

Der Konnektor ruft mithilfe von AWS Glue oder OpenSearch Metadateninformationen ab. Sie können eine AWS Glue Tabelle als zusätzliche Quelle für Metadatendefinitionen einrichten. Um diese Funktion zu aktivieren, definieren Sie eine AWS Glue Datenbank und eine Tabelle, die der Domäne und dem Index der Quelle entsprechen, die Sie ergänzen möchten. Der Connector kann auch die in der OpenSearch Instanz gespeicherten Metadatendefinitionen nutzen, indem er die Zuordnung für den angegebenen Index abruft.

Definieren von Metadaten für Arrays in OpenSearch

OpenSearch hat keinen speziellen Array-Datentyp. Jedes Feld kann null oder mehr Werte enthalten, sofern sie vom gleichen Datentyp sind. Wenn Sie OpenSearch als Quelle für die Metadatendefinition verwenden möchten, müssen Sie eine _meta Eigenschaft für alle mit Athena verwendeten Indizes für die Felder definieren, die als Liste oder Array betrachtet werden sollen. Wenn Sie diesen Schritt nicht ausführen, geben Abfragen nur das erste Element im Listenfeld aus. Wenn Sie die _meta-Eigenschaft angeben, sollten Feldnamen sollten vollständig für verschachtelte JSON-Strukturen qualifiziert sein (z. B. address.street, wobei street ein verschachteltes Feld innerhalb einer address-Struktur ist).

Im folgenden Beispiel werden actor- und genre-Listen in der movies-Tabelle definiert.

PUT movies/_mapping 
{ 
  "_meta": { 
    "actor": "list", 
    "genre": "list" 
  } 
}

Datentypen

Der OpenSearch Konnektor kann Metadatendefinitionen entweder aus der Instanz AWS Glue oder aus der OpenSearch Instanz extrahieren. Der Konnektor verwendet das Mapping in der folgenden Tabelle, um die Definitionen in Apache Arrow-Datentypen zu konvertieren, einschließlich der im folgenden Abschnitt aufgeführten Punkte.

OpenSearch Apache Arrow AWS Glue
Text, Schlüsselwort, binär VARCHAR string
long BIGINT bigint
scaled_float BIGINT SCALED_FLOAT (...)
Ganzzahl INT int
short SMALLINT smallint
 Byte TINYINT tinyint
double FLOAT8 double
float, half_float FLOAT4 float
Boolean BIT boolesch
Datum, date_nanos DATUMMILLI Zeitstempel
JSON-Struktur STRUCT STRUCT
_meta (Weitere Informationen finden Sie im Abschnitt Definieren von Metadaten für Arrays in OpenSearch.) LIST ARRAY

Hinweise zu Datentypen

  • Derzeit unterstützt der Konnektor nur die in der vorherigen Tabelle aufgeführten AWS Glue Datentypen OpenSearch und.

  • Ein scaled_float ist eine Gleitkommazahl, die mit einem festen doppelten Skalierungsfaktor skaliert und als BIGINT in Apache Arrow dargestellt wird. Beispielsweise wird 0,756 mit einem Skalierungsfaktor von 100 auf 76 gerundet.

  • Um einen scaled_float in zu definieren AWS Glue, müssen Sie den array Spaltentyp auswählen und das Feld im Format SCALED_FLOAT (scaling_factor) deklarieren.

    Das folgende Beispiele sind gültig:

    SCALED_FLOAT(10.51) 
SCALED_FLOAT(100) 
SCALED_FLOAT(100.0)

    Das folgende Beispiele sind nicht gültig:

    SCALED_FLOAT(10.) 
SCALED_FLOAT(.5)

  • Bei der Konvertierung von date_nanos zu DATEMILLI werden Nanosekunden auf die nächste Millisekunde gerundet. Zulässige Werte für date und date_nanos beinhalten, sind aber nicht beschränkt auf, die folgenden Formate:

    "2020-05-18T10:15:30.123456789" 
"2020-05-15T06:50:01.123Z" 
"2020-05-15T06:49:30.123-05:00" 
1589525370001 (epoch milliseconds)

  • An OpenSearch binary ist eine Zeichenkettendarstellung eines Binärwerts, der mit a codiert wurde und in diesen umgewandelt wird. Base64 VARCHAR

Ausführen von SQL-Abfragen

Im Folgenden finden Sie Beispiele für DDL-Abfragen, die Sie mit diesem Konnektor verwenden können. In den Beispielen entspricht function_name dem Namen Ihrer Lambda-Funktion, domain ist der Name der Domain, die Sie abfragen möchten, und index ist der Name Ihres Index.

SHOW DATABASES in `lambda:function_name`
SHOW TABLES in `lambda:function_name`.domain
DESCRIBE `lambda:function_name`.domain.index

Leistung

Der OpenSearch Athena-Anschluss unterstützt Shard-basierte parallel Scans. Der Connector verwendet die von der OpenSearch Instanz abgerufenen Cluster-Integritätsinformationen, um mehrere Anfragen für eine Dokumentensuchabfrage zu generieren. Die Anforderungen werden für jeden Shard aufgeteilt und gleichzeitig ausgeführt.

Der Konnektor gibt auch Prädikate als Teil seiner Dokumentensuchabfragen aus. Die folgende Beispielabfrage und das folgende Prädikat zeigen, wie der Konnektor Prädikat-Pushdown verwendet.

Abfrage

SELECT * FROM "lambda:elasticsearch".movies.movies 
WHERE year >= 1955 AND year <= 1962 OR year = 1996

Prädikat

(_exists_:year) AND year:([1955 TO 1962] OR 1996)

Passthrough-Abfragen

Der OpenSearch Connector unterstützt Passthrough-Abfragen und verwendet die Query-DSL-Sprache. Weitere Informationen zur Abfrage mit Query DSL finden Sie unter Query DSL in der Elasticsearch-Dokumentation oder unter Query DSL in der Dokumentation. OpenSearch

Verwenden Sie die folgende Syntax, um Passthrough-Abfragen mit dem OpenSearch Konnektor zu verwenden:

SELECT * FROM TABLE(
        system.query(
            schema => 'schema_name',
            index => 'index_name',
            query => "{query_string}"
        ))

Das folgende OpenSearch Beispiel für eine Passthrough-Abfrage filtert nach Mitarbeitern mit aktivem Beschäftigungsstatus im employee Index des default Schemas.

SELECT * FROM TABLE(
        system.query(
            schema => 'default',
            index => 'employee',
            query => "{ ''bool'':{''filter'':{''term'':{''status'': ''active''}}}}"
        ))

Weitere Ressourcen