Amazon Athena Redis Konnektor

Der Amazon Athena Redis-Konnektor ermöglicht Amazon Athena die Kommunikation mit Ihren Redis-Instances, sodass Sie Ihre Redis-Daten mit SQL abfragen können. Sie können das verwenden AWS Glue Data Catalog , um Ihre Redis-Schlüssel-Wert-Paare virtuellen Tabellen zuzuordnen.

Im Gegensatz zu herkömmlichen relationalen Datenspeichern gibt es bei Redis das Konzept von Tabelle oder Spalte nicht. Stattdessen bietet Redis Schlüssel-Wert-Zugriffsmuster an, bei denen der Schlüssel im Wesentlichen ein stringund der Wert ein string, z-set, oder hmap ist.

Sie können das verwenden, AWS Glue Data Catalog um ein Schema zu erstellen und virtuelle Tabellen zu konfigurieren. Spezielle Tabelleneigenschaften teilen dem Athena-Redis-Konnektor mit, wie Sie Ihre Redis-Schlüssel und -Werte einer Tabelle zuordnen. Weitere Informationen finden Sie unter Einrichten von Datenbanken und Tabellen in AWS Glue an späterer Stelle in diesem Dokument.

Wenn Sie Lake Formation in Ihrem Konto aktiviert haben, AWS Serverless Application Repository muss die IAM-Rolle für Ihren Athena Federated Lambda Connector, den Sie in der bereitgestellt haben, Lesezugriff in Lake Formation haben. AWS Glue Data Catalog

Der Amazon Athena Redis-Connector unterstützt Amazon MemoryDB for Redis und Amazon for Redis. ElastiCache

Voraussetzungen

• Stellen Sie den Konnektor für Ihr AWS-Konto mithilfe der Athena-Konsole oder AWS Serverless Application Repository bereit. Weitere Informationen finden Sie unter Datenquellen-Konnektor bereitstellen oder Bereitstellen eines Datenquellen-Connectors mit AWS Serverless Application Repository.

• Richten Sie eine VPC und eine Sicherheitsgruppe ein, bevor Sie diesen Konnektor verwenden. Weitere Informationen finden Sie unter Erstellen einer VPC für einen Datenquellen-Connector.

Parameter

Verwenden Sie die Lambda-Umgebungsvariablen in diesem Abschnitt, um den Redis-Konnektor zu konfigurieren.

• spill_bucket – Gibt den Amazon S3-Bucket für Daten an, die die Lambda-Funktionsgrenzen überschreiten.

• spill_prefix – (Optional) Ist standardmäßig ein Unterordner im angegebenen spill_bucket genannt athena-federation-spill. Wir empfehlen Ihnen, einen Amazon-S3-Speicher-Lebenszyklus an dieser Stelle zu konfigurieren, um die Überlaufe zu löschen, die älter als eine festgelegte Anzahl von Tagen oder Stunden sind.

• spill_put_request_headers – (Optional) Eine JSON-codierte Zuordnung von Anforderungsheadern und Werten für die Amazon-S3-putObject-Anforderung, die für den Überlauf verwendet wird (z. B. {"x-amz-server-side-encryption" : "AES256"}). Weitere mögliche Header finden Sie PutObjectin der Amazon Simple Storage Service API-Referenz.

• kms_key_id – (Optional) Standardmäßig werden alle Daten, die an Amazon S3 gesendet werden, mit dem AES-GCM-authentifizierten Verschlüsselungsmodus und einem zufällig generierten Schlüssel verschlüsselt. Damit Ihre Lambda-Funktion stärkere Verschlüsselungsschlüssel verwendet, die von KMS generiert werden, wiea7e63k4b-8loc-40db-a2a1-4d0en2cd8331, können Sie eine ID einer Verschlüsselung angeben.

• disable_spill_encryption – (Optional) Bei Einstellung auf True, wird die Spill-Verschlüsselung deaktiviert. Die Standardeinstellung ist False, sodass Daten, die an S3 übertrragen werden, mit AES-GCM verschlüsselt werden - entweder mit einem zufällig generierten Schlüssel oder mit KMS zum Generieren von Schlüsseln. Das Deaktivieren der Überlauf-Verschlüsselung kann die Leistung verbessern, insbesondere wenn Ihr Überlauf-Standort eine serverseitige Verschlüsselung verwendet.

• glue_catalog – (Optional) Verwenden Sie diese Option, um einen kontoübergreifenden AWS Glue -Katalog anzugeben. Standardmäßig versucht der Connector, Metadaten von seinem eigenen AWS Glue Konto abzurufen.

Einrichten von Datenbanken und Tabellen in AWS Glue

Um eine AWS Glue Tabelle für die Verwendung mit Redis zu aktivieren, können Sie die folgenden Tabelleneigenschaften für die Tabelle festlegen: redis-endpointredis-value-type, und entweder redis-keys-zset oderredis-key-prefix.

Darüber hinaus muss jede AWS Glue Datenbank, die Redis-Tabellen enthält, eine redis-db-flag in der URI-Eigenschaft der Datenbank enthalten. Um die redis-db-flag URI-Eigenschaft festzulegen, verwenden Sie die AWS Glue Konsole, um die Datenbank zu bearbeiten.

Die folgende Liste enthält Beschreibungen der Tabelleneigenschaften.

• redis-endpoint — (Erforderlich) Das ::Hostnamen-Portkennwort des Redis-Servers, der Daten für diese Tabelle enthält (z. B.athena-federation-demo.cache.amazonaws.com:6379). Alternativ können Sie den Endpunkt oder einen Teil des Endpunkts in speichern, AWS Secrets Manager indem Sie $ {Secret_Name} als Tabelleneigenschaftswert verwenden.

Anmerkung

Um die Athena Federated Query-Funktion verwenden zu können AWS Secrets Manager, muss die mit Ihrer Lambda-Funktion verbundene VPC über Internetzugang oder einen VPC-Endpunkt verfügen, um eine Verbindung zu Secrets Manager herzustellen.

• redis-keys-zset— (Erforderlich, falls nicht redis-key-prefix verwendet) Eine durch Kommas getrennte Liste von Schlüsseln, deren Wert ein Satz ist (z. B.). active-orders,pending-orders Jeder der Werte in der Gruppe wird als Schlüssel behandelt, der Teil der Tabelle ist. Entweder muss die redis-keys-zset-Eigenschaft oder die redis-key-prefix-Eigenschaft festgelegt sein.

• redis-key-prefix— (Erforderlich, falls redis-keys-zset nicht verwendet) Eine durch Kommas getrennte Liste von Schlüsselpräfixen, um in der Tabelle nach Werten zu suchen (zum Beispiel). accounts-*,acct- Entweder muss die redis-key-prefix-Eigenschaft oder die redis-keys-zset-Eigenschaft festgelegt sein.

• redis-value-type— (Erforderlich) Definiert, wie die Werte für die durch redis-key-prefix oder definierten Schlüssel redis-keys-zset Ihrer Tabelle zugeordnet werden. Ein Literal wird einer einzelnen Spalte zugeordnet. Ein zset wird auch einer einzelnen Spalte zugeordnet, aber jeder Schlüssel kann viele Zeilen speichern. Ein Hash ermöglicht, dass jeder Schlüssel eine Zeile mit mehreren Spalten ist (z. B. ein Hash, Literal oder zset).

• redis-ssl-flag— (Optional) WennTrue, wird eine Redis-Verbindung erstellt, die SSL/TLS verwendet. Der Standardwert ist False.

• redis-cluster-flag— (Optional) WannTrue, aktiviert die Unterstützung für geclusterte Redis-Instanzen. Der Standardwert ist False.

• redis-db-number— (Optional) Gilt nur für eigenständige, nicht geclusterte Instanzen.) Legen Sie diese Zahl (z. B. 1, 2 oder 3) fest, um sie aus einer nicht standardmäßigen Redis-Datenbank zu lesen. Die Standardeinstellung ist Redis logische Datenbank 0. Diese Zahl bezieht sich nicht auf eine Datenbank in Athena oder AWS Glue, sondern auf eine logische Redis-Datenbank. Weitere Informationen finden Sie unter SELECT Index in der MySQL-Dokumentation.

Datentypen

Der Redis-Konnektor unterstützt die folgenden Datentypen. Redis-Streams werden nicht unterstützt.

• Zeichenfolge

• Hash

• Sortierter Satz (ZSet)

Alle Redis-Werte werden abgerufen als string-Datentyp. Anschließend werden sie in einen der folgenden Apache Arrow-Datentypen konvertiert, basierend darauf, wie Ihre Tabellen in AWS Glue Data Catalog definiert sind.

AWS Glue Datentyp	Apache Arrow-Datentyp
int	INT
Zeichenfolge	VARCHAR
bigint	BIGINT
double	FLOAT8
float	FLOAT4
smallint	SMALLINT
tinyint	TINYINT
boolesch	BIT
Binary	VARBINARY

Erforderliche Berechtigungen

Ausführliche Informationen zu den für diesen Konnektor erforderlichen IAM-Richtlinien finden Sie im Policies-Abschnitt der athena-redis.yaml-Datei. In der folgenden Liste sind die erforderlichen Berechtigungen zusammengefasst.

• Amazon-S3-Schreibzugriff – Der Konnektor benötigt Schreibzugriff auf einen Speicherort in Amazon S3, um Ergebnisse aus großen Abfragen zu übertragen.

• Athena GetQueryExecution — Der Konnektor verwendet diese Berechtigung, um einen Fast-Fail auszuführen, wenn die Upstream-Athena-Abfrage beendet wurde.

• AWS Glue Data Catalog— Der Redis-Konnektor benötigt nur Lesezugriff auf den, um Schemainformationen abzurufen AWS Glue Data Catalog .

• CloudWatch Logs — Der Connector benötigt Zugriff auf CloudWatch Logs, um Logs zu speichern.

• AWS Secrets Manager Lesezugriff — Wenn Sie Redis-Endpunktdetails in Secrets Manager speichern möchten, müssen Sie dem Connector Zugriff auf diese Geheimnisse gewähren.

• Zugriff auf VPC – Der Konnektor erfordert die Fähigkeit, Schnittstellen an Ihre VPC anzuhängen und zu trennen, damit diese eine Verbindung zu dieser herstellen und mit Ihren Redis-Instances kommunizieren kann.

Leistung

Der Athena-Redis-Konnektor versucht, Abfragen für Ihre Redis-Instance entsprechend dem von Ihnen definierten Tabellentyp zu parallelisieren (z. B. zset- oder Präfix-Schlüssel).

Der Athena-Redis-Konnektor führt einen Prädikat-Pushdown durch, um die von der Abfrage durchsuchten Daten zu reduzieren. Abfragen, die ein Prädikat für den Primärschlüssel enthalten, schlagen jedoch mit einer Zeitüberschreitung fehl. LIMIT-Klauseln reduzieren die Menge der gescannten Daten, aber wenn Sie kein Prädikat angeben, sollten Sie davon ausgehen, dass SELECT-Abfragen mit einer LIMIT-Klausel mindestens 16 MB Daten scannen. Der Redis-Konnektor ist aufgrund der Gleichzeitigkeit widerstandsfähig gegenüber Drosselung.

Lizenzinformationen

Das Amazon Athena Redis-Konnektor-Projekt ist lizenziert unter Apache-2.0-Lizenz.

Weitere Ressourcen

Weitere Informationen zu diesem Connector finden Sie auf der entsprechenden Website auf GitHub .com.