Connettore Amazon Athena Redis

Il connettore Amazon Athena Redis consente ad Amazon Athena di comunicare con le istanze Redis in modo da poter eseguire query sui dati Redis con SQL. Puoi usare AWS Glue Data Catalog per mappare le tue coppie chiave-valore Redis in tabelle virtuali.

A differenza dei tradizionali archivi di dati relazionali, Redis non ha il concetto di tabella o colonna. Al contrario, Redis offre modelli di accesso chiave-valore in cui la chiave è essenzialmente una string e il valore è una string, un z-set oppure una hmap.

È possibile utilizzare il AWS Glue Data Catalog per creare schemi e configurare tabelle virtuali. Le proprietà speciali della tabella indicano al connettore Redis per Athena come mappare le chiavi e i valori di Redis in una tabella. Per ulteriori informazioni, consultare Configurazione di database e tabelle in AWS Glue riportata di seguito in questo documento.

Se hai abilitato Lake Formation nel tuo account, il ruolo IAM per il tuo connettore Lambda federato Athena che hai distribuito nell'accesso in lettura deve avere accesso in lettura in AWS Serverless Application Repository Lake Formation a. AWS Glue Data Catalog

Il connettore Amazon Athena Redis supporta Amazon MemoryDB per Redis e Amazon per Redis. ElastiCache

Prerequisiti

• Implementa il connettore sul tuo Account AWS utilizzando la console Athena o AWS Serverless Application Repository. Per ulteriori informazioni, consulta Distribuzione di un connettore origine dati o Utilizzo di AWS Serverless Application Repository per distribuire un connettore origine dati.

• Prima di utilizzare questo connettore, configura un VPC e un gruppo di sicurezza. Per ulteriori informazioni, consulta Creazione di un VPC per un connettore origine dati.

Parametri

Utilizza le variabili di ambiente Lambda illustrate in questa sezione per configurare il connettore Redis.

• spill_bucket: specifica il bucket Amazon S3 per i dati che superano i limiti della funzione Lambda.

• spill_prefix: (facoltativo) per impostazione predefinita, viene utilizzata una sottocartella nello spill_bucket specificato chiamata athena-federation-spill. Ti consigliamo di configurare un ciclo di vita dell'archiviazione di Amazon S3 in questa posizione per eliminare gli spill più vecchi di un numero predeterminato di giorni o ore.

• spill_put_request_headers: (facoltativo) una mappa codificata in JSON delle intestazioni e dei valori della richiesta per la richiesta putObject di Amazon S3 utilizzata per lo spill (ad esempio, {"x-amz-server-side-encryption" : "AES256"}). Per altre possibili intestazioni, consulta il riferimento PutObjectall'API di Amazon Simple Storage Service.

• kms_key_id: (facoltativo) per impostazione predefinita, tutti i dati riversati in Amazon S3 vengono crittografati utilizzando la modalità di crittografia autenticata AES-GCM e una chiave generata casualmente. Per fare in modo che la tua funzione Lambda utilizzi chiavi di crittografia più potenti generate da KMS come a7e63k4b-8loc-40db-a2a1-4d0en2cd8331, puoi specificare l'ID della chiave KMS.

• disable_spill_encryption: (facoltativo) se impostato su True, disabilita la crittografia dello spill. L'impostazione predefinita è False: in questo modo, i dati riversati su S3 vengono crittografati utilizzando AES-GCM tramite una chiave generata casualmente o una chiave generata mediante KMS. La disabilitazione della crittografia dello spill può migliorare le prestazioni, soprattutto se la posizione dello spill utilizza la crittografia lato server.

• glue_catalog: (facoltativo) utilizza questa opzione per specificare un catalogo AWS Glue multi-account. Per impostazione predefinita, il connettore tenta di ottenere metadati dal proprio account. AWS Glue

Configurazione di database e tabelle in AWS Glue

Per abilitare una AWS Glue tabella da utilizzare con Redis, puoi impostare le seguenti proprietà della tabella: redis-endpointredis-value-type, e redis-keys-zset oredis-key-prefix.

Inoltre, qualsiasi AWS Glue database che contiene tabelle Redis deve avere una redis-db-flag proprietà URI del database. Per impostare la proprietà redis-db-flag URI, usa la AWS Glue console per modificare il database.

L'elenco seguente descrive le proprietà delle tabelle.

• redis-endpoint — (Obbligatorio) La : password della : porta del nome host del server Redis che contiene i dati per questa tabella (ad esempioathena-federation-demo.cache.amazonaws.com:6379). In alternativa, puoi memorizzare l'endpoint, o parte dell'endpoint, AWS Secrets Manager utilizzando $ {Secret_Name} come valore della proprietà della tabella.

Nota

Per utilizzare la funzionalità Athena Federated Query con, AWS Secrets Manager il VPC collegato alla funzione Lambda deve avere accesso a Internet o un endpoint VPC per connettersi a Secrets Manager.

• redis-keys-zset— (Obbligatorio se non redis-key-prefix viene utilizzato) Un elenco di chiavi separate da virgole il cui valore è un set (ad esempio,). active-orders,pending-orders Ciascuno dei valori del set viene considerato come una chiave facente parte della tabella. È necessario impostare la proprietà redis-keys-zset o la proprietà redis-key-prefix.

• redis-key-prefix— (Obbligatorio se non redis-keys-zset viene utilizzato) Un elenco separato da virgole di prefissi chiave per la scansione dei valori nella tabella (ad esempio,). accounts-*,acct- È necessario impostare la proprietà redis-key-prefix o la proprietà redis-keys-zset.

• redis-value-type— (Obbligatorio) Definisce in che modo i valori delle chiavi definite da uno redis-key-prefix o dall'altro redis-keys-zset vengono mappati sulla tabella. Un valore letterale è associato a una singola colonna. Anche un zset è associato a una singola colonna, ma ogni chiave può archiviare più righe. Un hash consente a ciascuna chiave di costituire una riga con più colonne (ad esempio, hash, letterale o zset).

• redis-ssl-flag— (Facoltativo) QuandoTrue, crea una connessione Redis che utilizza SSL/TLS. Il valore predefinito è False.

• redis-cluster-flag— (Facoltativo) QuandoTrue, abilita il supporto per le istanze Redis in cluster. Il valore predefinito è False.

• redis-db-number— (Facoltativo) Si applica solo alle istanze autonome e non raggruppate.) Imposta questo numero (ad esempio 1, 2 o 3) per leggere da un database Redis non predefinito. L'impostazione predefinita è il database logico Redis 0. Questo numero non si riferisce a un database in Athena o AWS Glue, ma a un database logico Redis. Per ulteriori informazioni, consulta la sezione SELECT index (Indice SELECT) nella documentazione di Redis.

Tipi di dati

Il connettore Redis supporta i seguenti tipi di dati. I flussi Redis non sono supportati.

• Stringa

• Hash

• Set ordinato (ZSet)

Tutti i valori di Redis vengono recuperati come tipo di dati string. Quindi vengono convertiti in uno dei seguenti tipi di dati Apache Arrow in base a come sono state definite le tabelle nel AWS Glue Data Catalog.

AWS Glue tipo di dati	Tipo di dati Apache Arrow
int	INT
string	VARCHAR
bigint	BIGINT
double	FLOAT8
float	FLOAT4
smallint	SMALLINT
tinyint	TINYINT
booleano	BIT
binary	VARBINARY

Autorizzazioni richieste

Consulta la sezione Policies del file athena-redis.yaml per i dettagli completi delle policy IAM richieste da questo connettore. L'elenco che segue riporta un riepilogo delle autorizzazioni richieste.

• Accesso in scrittura ad Amazon S3: per trasferire i risultati di query di grandi dimensioni, il connettore richiede l'accesso in scrittura a una posizione in Amazon S3.

• Athena GetQueryExecution: il connettore utilizza questa autorizzazione per fallire rapidamente quando la query Athena upstream è terminata.

• AWS Glue Data Catalog— Il connettore Redis richiede l'accesso in sola lettura a per ottenere informazioni sullo schema. AWS Glue Data Catalog

• CloudWatch Registri: il connettore richiede l'accesso ai CloudWatch registri per l'archiviazione dei registri.

• AWS Secrets Manager accesso in lettura: se scegli di archiviare i dettagli degli endpoint Redis in Secrets Manager, devi concedere al connettore l'accesso a tali segreti.

• Accesso VPC: il connettore richiede la capacità di collegare e scollegare le interfacce al VPC in modo che possa connettersi ad esso e comunicare con le istanze Redis.

Prestazioni

Il connettore Redis per Athena tenta di eseguire in parallelo le query sull'istanza Redis in base al tipo di tabella che hai definito (ad esempio, chiavi zset chiavi di prefisso).

Il connettore Athena Redis esegue il pushdown del predicato per ridurre la quantità di dati scansionati dalla query. Tuttavia, le query contenenti un predicato sulla chiave primaria comportano un errore di timeout. Le clausole LIMIT riducono la quantità di dati scansionati, ma se non viene fornito un predicato, le query SELECT con una clausola LIMIT eseguiranno la scansione di almeno 16 MB di dati. Il connettore Redis è resiliente alla limitazione della larghezza di banda della rete dovuta alla simultaneità.

Informazioni sulla licenza

Il progetto del connettore Redis per Amazon Athena è concesso in licenza ai sensi della Licenza Apache-2.0.

Risorse aggiuntive

Per ulteriori informazioni su questo connettore, visitate il sito corrispondente su GitHub .com.