Connecteur Amazon Athena pour Redis

Le connecteur Amazon Athena Redis permet à Amazon Athena de communiquer avec vos instances Redis afin que vous puissiez requêter vos données Redis avec SQL. Vous pouvez utiliser le AWS Glue Data Catalog pour mapper vos paires clé-valeur Redis dans des tables virtuelles.

Contrairement aux magasins de données relatives traditionnels, Redis n’utilise pas le concept de table ou de colonne. Redis propose plutôt des modèles d’accès clé-valeur où la clé est essentiellement une string et où la valeur est une string, un z-set ou une hmap.

Vous pouvez utiliser le AWS Glue Data Catalog pour créer un schéma et configurer des tables virtuelles. Des propriétés de table spéciales indiquent au connecteur Athena Redis comment mapper vos clés et valeurs Redis dans une table. Pour plus d'informations, consultez Configuration de bases de données et de tables dans AWS Glue dans la suite de ce document.

Si Lake Formation est activé sur votre compte, le rôle IAM de votre connecteur Lambda fédéré Athena que vous avez déployé dans AWS Serverless Application Repository le doit avoir un accès en lecture dans Lake Formation au. AWS Glue Data Catalog

Le connecteur Amazon Athena Redis prend en charge Amazon MemoryDB pour Redis et Amazon pour Redis. ElastiCache

Prérequis

• Déployez le connecteur sur votre Compte AWS à l’aide de la console Athena ou du AWS Serverless Application Repository. Pour plus d’informations, consultez Déploiement d'un connecteur de source de données ou Utilisation de AWS Serverless Application Repository pour déployer un connecteur de source de données.

• Avant d’utiliser ce connecteur, configurez un VPC et un groupe de sécurité. Pour plus d’informations, consultez Création d'un VPC pour un connecteur de source de données.

Paramètres

Utilisez les variables d’environnement Lambda de cette section pour configurer le connecteur Redis.

• spill_bucket – Spécifie le compartiment Amazon S3 pour les données qui dépassent les limites des fonctions Lambda.

• spill_prefix – (Facultatif) Par défaut, il s’agit d’un sous-dossier dans le spill_bucket spécifié appelé athena-federation-spill. Nous vous recommandons de configurer un cycle de vie de stockage Amazon S3 à cet endroit pour supprimer les déversements supérieurs à un nombre de jours ou d’heures prédéterminé.

• spill_put_request_headers – (Facultatif) Une carte codée au format JSON des en-têtes et des valeurs des demandes pour la demande putObject Amazon S3 utilisée pour le déversement (par exemple, {"x-amz-server-side-encryption" : "AES256"}). Pour les autres en-têtes possibles, consultez le PutObjectmanuel Amazon Simple Storage Service API Reference.

• kms_key_id – (Facultatif) Par défaut, toutes les données déversées vers Amazon S3 sont chiffrées à l'aide du mode de chiffrement authentifié AES-GCM et d'une clé générée de manière aléatoire. Pour que votre fonction Lambda utilise des clés de chiffrement plus puissantes générées par KMS, comme a7e63k4b-8loc-40db-a2a1-4d0en2cd8331, vous pouvez spécifier l’ID d’une clé KMS.

• disable_spill_encryption – (Facultatif) Lorsque la valeur est définie sur True, le chiffrement des déversements est désactivé. La valeur par défaut est False afin que les données déversées vers S3 soient chiffrées à l’aide d’AES-GCM, soit à l’aide d’une clé générée de manière aléatoire soit à l’aide de KMS pour générer des clés. La désactivation du chiffrement des déversements peut améliorer les performances, surtout si votre lieu de déversement utilise le chiffrement côté serveur.

• glue_catalog – (Facultatif) Utilisez cette option pour spécifier un catalogue AWS Glue entre compte. Par défaut, le connecteur tente d'obtenir des métadonnées à partir de son propre AWS Glue compte.

Configuration de bases de données et de tables dans AWS Glue

Pour activer une AWS Glue table à utiliser avec Redis, vous pouvez définir les propriétés de table suivantes sur la table :redis-endpoint,redis-value-type, redis-keys-zset ou ouredis-key-prefix.

En outre, toute AWS Glue base de données contenant des tables Redis doit avoir une propriété URI redis-db-flag dans la base de données. Pour définir la propriété redis-db-flag URI, utilisez la AWS Glue console pour modifier la base de données.

La liste suivante décrit les propriétés de la table.

• redis-endpoint — (Obligatoire) Le : mot de passe du : port du nom d'hôte du serveur Redis qui contient les données de cette table (par exemple,athena-federation-demo.cache.amazonaws.com:6379) Vous pouvez également stocker le point de terminaison, ou une partie du point de terminaison, en AWS Secrets Manager utilisant $ {secret_Name} comme valeur de propriété de table.

Note

Pour utiliser la fonctionnalité Athena Federated Query avec, AWS Secrets Manager le VPC connecté à votre fonction Lambda doit disposer d'un accès Internet ou d'un point de terminaison VPC pour se connecter à Secrets Manager.

• redis-keys-zset— (Obligatoire si elle n'redis-key-prefixest pas utilisée) Une liste de clés séparées par des virgules dont la valeur est un zset (par exemple,). active-orders,pending-orders Chacune des valeurs du zset est considérée comme une clé faisant partie de la table. La propriété redis-keys-zset ou redis-key-prefix doit être définie.

• redis-key-prefix— (Obligatoire si elle n'redis-keys-zsetest pas utilisée) Une liste de préfixes clés séparés par des virgules pour rechercher des valeurs dans le tableau (par exemple,accounts-*,acct-). La propriété redis-key-prefix ou redis-keys-zset doit être définie.

• redis-value-type— (Obligatoire) Définit la façon dont les valeurs des clés définies par l'une redis-key-prefix ou l'autre redis-keys-zset sont mappées à votre table. Un littéral mappe à une seule colonne. Un zset mappe également à une seule colonne, mais chaque clé peut stocker de nombreuses lignes. Un hachage permet à chaque clé de constituer une ligne avec plusieurs colonnes (par exemple, un hachage, un littéral ou un zset).

• redis-ssl-flag— (Facultatif) QuandTrue, crée une connexion Redis utilisant SSL/TLS. L’argument par défaut est False.

• redis-cluster-flag— (Facultatif) QuandTrue, active la prise en charge des instances Redis en cluster. L’argument par défaut est False.

• redis-db-number— (Facultatif) S'applique uniquement aux instances autonomes non clusterisées.) Définissez ce nombre (par exemple 1, 2 ou 3) pour lire à partir d’une base de données Redis personnalisée. La base de données logique Redis par défaut est 0. Ce numéro ne fait pas référence à une base de données dans Athena ou AWS Glue, mais à une base de données logique Redis. Pour plus d’informations, consultez l’index SELECT dans la documentation Redis.

Types de données

Le connecteur Redis prend en charge les types de données suivants. Les flux Redis ne sont pas pris en charge.

• String

• Hachage

• Jeu trié (ZSet)

Toutes les valeurs Redis sont récupérées en tant que type de données string. Elles sont ensuite converties vers l’un des types de données Apache Arrow suivants en fonction de la façon dont vos tables sont définies dans le AWS Glue Data Catalog.

AWS Glue type de données	Type de données Apache Arrow
int	INT
chaîne	VARCHAR
bigint	BIGINT
double	FLOAT8
float	FLOAT4
smallint	SMALLINT
tinyint	TINYINT
boolean	BIT
binary	VARBINARY

Autorisations nécessaires

Pour plus de détails sur les politiques IAM requises par ce connecteur, reportez-vous à la section Policies du fichier athena-redis.yaml. La liste suivante résume les autorisations requises.

• Amazon S3 write access (Accès en écriture Amazon S3) – Le connecteur nécessite un accès en écriture à un emplacement dans Amazon S3 pour déverser les résultats à partir de requêtes volumineuses.

• Athena GetQueryExecution — Le connecteur utilise cette autorisation pour échouer rapidement lorsque la requête Athena en amont est terminée.

• AWS Glue Data Catalog— Le connecteur Redis nécessite un accès en lecture seule au pour AWS Glue Data Catalog obtenir des informations sur le schéma.

• CloudWatch Journaux : le connecteur a besoin d'accéder aux CloudWatch journaux pour stocker les journaux.

• AWS Secrets Manager accès en lecture — Si vous choisissez de stocker les détails du point de terminaison Redis dans Secrets Manager, vous devez autoriser le connecteur à accéder à ces secrets.

• Accès VPC – Le connecteur nécessite la possibilité d’attacher des interfaces à votre VPC et de les détacher afin qu’il puisse s’y connecter et communiquer avec vos instances Redis.

Performance

Le connecteur Athena Redis tente de paralléliser les requêtes par rapport à votre instance Redis en fonction du type de table que vous avez défini (par exemple, des clés zset ou des clés de préfixe).

Le connecteur Athena Redis effectue une poussée vers le bas des prédicats pour réduire les données analysées par la requête. Cependant, les requêtes contenant un prédicat contre la clé primaire échouent avec le délai d'attente. Les clauses LIMIT réduisent la quantité de données analysées, mais si vous ne fournissez pas de prédicat, vous devez vous attendre à ce que les requêtes SELECT avec une clause LIMIT analysent au moins 16 Mo de données. Le connecteur Redis résiste à la limitation due à la simultanéité.

Informations de licence

Le projet de connecteur Redis Amazon Athena est concédé sous licence dans le cadre de la licence Apache-2.0.

Ressources supplémentaires

Pour plus d'informations sur ce connecteur, rendez-vous sur le site correspondant sur GitHub .com.