Connecteur Amazon Athena pour HBase

Le connecteur Amazon Athena HBase permet à Amazon Athena de communiquer avec vos instances Apache HBase afin que vous puissiez interroger vos données HBase avec SQL.

Contrairement aux magasins de données relatives traditionnels, les collections HBase n’ont pas de schéma défini. HBase n’a pas de magasin de métadonnées. Chaque entrée d’une collection HBase peut comporter des champs et des types de données différents.

Le connecteur HBase prend en charge deux mécanismes pour générer des informations de schéma de table : l'inférence de schéma de base et les AWS Glue Data Catalog métadonnées.

L’inférence de schéma est la valeur par défaut. Cette option analyse un petit nombre de documents de votre collection, réunit tous les champs et impose des champs dont les types de données ne se chevauchent pas. Cette option fonctionne bien pour les collections dont les entrées sont généralement uniformes.

Pour les collections comportant une plus grande variété de types de données, le connecteur prend en charge la récupération de métadonnées à partir du AWS Glue Data Catalog. Si le connecteur voit une AWS Glue base de données et une table qui correspondent à votre espace de noms HBase et aux noms de collection, il obtient ses informations de schéma à partir de la table correspondante AWS Glue . Lorsque vous créez votre AWS Glue table, nous vous recommandons d'en faire un sur-ensemble de tous les champs auxquels vous souhaitez accéder depuis votre collection HBase.

Si Lake Formation est activé sur votre compte, le rôle IAM de votre connecteur Lambda fédéré Athena que vous avez déployé dans AWS Serverless Application Repository le doit avoir un accès en lecture dans Lake Formation au. AWS Glue Data Catalog

Prérequis

• Déployez le connecteur sur votre Compte AWS à l’aide de la console Athena ou du AWS Serverless Application Repository. Pour plus d’informations, consultez Déployer un connecteur de source de données ou Utilisez le AWS Serverless Application Repository pour déployer un connecteur de source de données.

Paramètres

Utilisez les variables d’environnement Lambda de cette section pour configurer le connecteur HBase.

• spill_bucket – Spécifie le compartiment Amazon S3 pour les données qui dépassent les limites des fonctions Lambda.

• spill_prefix – (Facultatif) Par défaut, il s’agit d’un sous-dossier dans le spill_bucket spécifié appelé athena-federation-spill. Nous vous recommandons de configurer un cycle de vie de stockage Amazon S3 à cet endroit pour supprimer les déversements supérieurs à un nombre de jours ou d’heures prédéterminé.

• spill_put_request_headers – (Facultatif) Une carte codée au format JSON des en-têtes et des valeurs des demandes pour la demande putObject Amazon S3 utilisée pour le déversement (par exemple, {"x-amz-server-side-encryption" : "AES256"}). Pour les autres en-têtes possibles, consultez le PutObjectmanuel Amazon Simple Storage Service API Reference.

• kms_key_id – (Facultatif) Par défaut, toutes les données déversées vers Amazon S3 sont chiffrées à l'aide du mode de chiffrement authentifié AES-GCM et d'une clé générée de manière aléatoire. Pour que votre fonction Lambda utilise des clés de chiffrement plus puissantes générées par KMS, comme a7e63k4b-8loc-40db-a2a1-4d0en2cd8331, vous pouvez spécifier l’ID d’une clé KMS.

• disable_spill_encryption – (Facultatif) Lorsque la valeur est définie sur True, le chiffrement des déversements est désactivé. La valeur par défaut est False afin que les données déversées vers S3 soient chiffrées à l’aide d’AES-GCM, soit à l’aide d’une clé générée de manière aléatoire soit à l’aide de KMS pour générer des clés. La désactivation du chiffrement des déversements peut améliorer les performances, surtout si votre lieu de déversement utilise le chiffrement côté serveur.

• disable_glue — (Facultatif) S'il est présent et défini sur true, le connecteur ne tente pas de récupérer des métadonnées supplémentaires à partir de. AWS Glue

• glue_catalog – (Facultatif) Utilisez cette option pour spécifier un catalogue AWS Glue entre compte. Par défaut, le connecteur tente d'obtenir des métadonnées à partir de son propre AWS Glue compte.

• default_hbase – S’il est présent, il spécifie une chaîne de connexion HBase à utiliser lorsqu’aucune variable d’environnement spécifique au catalogue n’existe.

• enable_case_insensitive_match — (Facultatif) Lorsque, effectue des recherches sans distinction majuscules/minuscules sur les noms de tables dans true HBase. L’argument par défaut est false. À utiliser si votre requête contient des noms de table en majuscules.

Définition des chaînes de connexion

Vous pouvez fournir une ou plusieurs propriétés qui définissent les détails de connexion HBase pour les instances HBase que vous utilisez avec le connecteur. Pour ce faire, définissez une variable d’environnement Lambda qui correspond au nom du catalogue que vous souhaitez utiliser dans Athena. Supposons, par exemple, que vous souhaitiez utiliser les requêtes suivantes pour interroger deux instances HBase différentes depuis Athena :

SELECT * FROM "hbase_instance_1".database.table

SELECT * FROM "hbase_instance_2".database.table

Avant de pouvoir utiliser ces deux instructions SQL, vous devez ajouter deux variables d’environnement à votre fonction Lambda : hbase_instance_1 et hbase_instance_2. La valeur pour chacune d’elles doit être une chaîne de connexion HBase au format suivant :

master_hostname:hbase_port:zookeeper_port

Utilisation de secrets

Vous pouvez éventuellement utiliser AWS Secrets Manager une partie ou la totalité de la valeur pour les détails de votre chaîne de connexion. Pour utiliser la fonctionnalité de requête fédérée d’Athena avec Secrets Manager, le VPC connecté à votre fonction Lambda doit avoir un accès internet ou un point de terminaison de VPC pour vous connecter à Secrets Manager.

Si vous utilisez la syntaxe ${my_secret} pour mettre le nom d’un secret provenant de Secrets Manager dans votre chaîne de connexion, le connecteur remplace le nom secret par vos valeurs de nom d’utilisateur et de mot de passe provenant de Secrets Manager.

Supposons, par exemple, que vous définissiez la variable d’environnement Lambda pour hbase_instance_1 sur la valeur suivante :

${hbase_host_1}:${hbase_master_port_1}:${hbase_zookeeper_port_1}

Le SDK Athena Query Federation tente automatiquement de récupérer un secret nommé hbase_instance_1_creds à partir de Secrets Manager et d’injecte cette valeur à la place de ${hbase_instance_1_creds}. Toute partie de la chaîne de connexion qui est entourée par la combinaison de caractères ${ } est interprétée comme un secret de Secrets Manager. Si vous spécifiez un nom de secret que le connecteur ne trouve pas dans Secrets Manager, le connecteur ne remplace pas le texte.

Configuration de bases de données et de tables dans AWS Glue

L’inférence de schéma intégrée du connecteur prend en charge uniquement les valeurs sérialisées dans HBase sous forme de chaînes (par exemple, String.valueOf(int)). La capacité d’inférence de schéma intégrée du connecteur étant limitée, vous pouvez souhaiter utiliser plutôt AWS Glue pour les métadonnées. Pour activer une AWS Glue table à utiliser avec HBase, vous devez disposer d'une AWS Glue base de données et d'une table dont les noms correspondent à l'espace de noms HBase et à la table pour lesquels vous souhaitez fournir des métadonnées supplémentaires. L’utilisation des conventions de dénomination des familles de colonnes HBase est facultative, mais pas obligatoire.

Pour utiliser une AWS Glue table pour des métadonnées supplémentaires

1. Lorsque vous modifiez la table et la base de données dans la AWS Glue console, ajoutez les propriétés de table suivantes :

   • hbase-metadata-flag— Cette propriété indique au connecteur HBase que le connecteur peut utiliser la table pour des métadonnées supplémentaires. Vous pouvez fournir n’importe quelle valeur pour hbase-metadata-flag tant que la propriété hbase-metadata-flag est présente dans la liste des propriétés de la table.

   • hbase-native-storage-flag— Utilisez cet indicateur pour activer ou désactiver les deux modes de sérialisation de valeurs pris en charge par le connecteur. Par défaut, lorsque ce champ n’est pas présent, le connecteur suppose que toutes les valeurs sont stockées dans HBase sous forme de chaînes. En tant que tel, il tentera d’analyser les types de données tels que INT, BIGINT et DOUBLE à partir de HBase sous forme de chaînes. Si ce champ est défini avec une valeur quelconque de la table AWS Glue, le connecteur passe en mode de stockage « natif » et tente de lireINT, BIGINTBIT, et DOUBLE sous forme d'octets à l'aide des fonctions suivantes :

     ByteBuffer.wrap(value).getInt() 
     ByteBuffer.wrap(value).getLong() 
     ByteBuffer.wrap(value).get() 
     ByteBuffer.wrap(value).getDouble()

2. Assurez-vous d'utiliser les types de données appropriés AWS Glue tels que listés dans ce document.

Modélisation de familles de colonnes

Le connecteur Athena HBase permet de modéliser les familles de colonnes HBase de deux manières : des noms entièrement qualifiés (aplatis) tels que family:column, ou à l’aide d’objets STRUCT.

Dans le modèle STRUCT, le nom du champ STRUCT doit correspondre à la famille de colonnes, tandis que les enfants de STRUCT doivent correspondre aux noms des colonnes de la famille. Cependant, étant donné que les lectures de prédicats poussés vers le bas et en colonnes ne sont pas encore totalement prises en charge pour les types complexes tels que STRUCT, l’utilisation de STRUCT n’est actuellement pas conseillée.

L'image suivante montre une table configurée dans AWS Glue qui utilise une combinaison des deux approches.

Prise en charge du type de données

Le connecteur extrait toutes les valeurs HBase en tant que type d’octet de base. Ensuite, en fonction de la façon dont vous avez défini vos tables dans AWS Glue Data Catalog, il mappe les valeurs dans l'un des types de données Apache Arrow du tableau suivant.

AWS Glue type de données	Type de données Apache Arrow
int	INT
bigint	BIGINT
double	FLOAT8
float	FLOAT4
boolean	BIT
binary	VARBINARY
chaîne	VARCHAR

Note

Si vous ne l'utilisez pas AWS Glue pour compléter vos métadonnées, l'inférence du schéma du connecteur utilise uniquement les types de données BIGINTFLOAT8, etVARCHAR.

Autorisations nécessaires

Pour plus de détails sur les politiques IAM requises par ce connecteur, reportez-vous à la section Policies du fichier athena-hbase.yaml. La liste suivante résume les autorisations requises.

• Amazon S3 write access (Accès en écriture Amazon S3) – Le connecteur nécessite un accès en écriture à un emplacement dans Amazon S3 pour déverser les résultats à partir de requêtes volumineuses.

• Athena GetQueryExecution — Le connecteur utilise cette autorisation pour échouer rapidement lorsque la requête Athena en amont est terminée.

• AWS Glue Data Catalog— Le connecteur HBase nécessite un accès en lecture seule au pour AWS Glue Data Catalog obtenir des informations sur le schéma.

• CloudWatch Journaux : le connecteur a besoin d'accéder aux CloudWatch journaux pour stocker les journaux.

• AWS Secrets Manager accès en lecture — Si vous choisissez de stocker les détails du point de terminaison HBase dans Secrets Manager, vous devez autoriser le connecteur à accéder à ces secrets.

• Accès VPC – Le connecteur nécessite la possibilité d’attacher des interfaces à votre VPC et de les détacher afin qu’il puisse s’y connecter et communiquer avec vos instances HBase.

Performance

Le connecteur Athena HBase tente de paralléliser les requêtes sur votre instance HBase en lisant chaque serveur de région en parallèle. Le connecteur Athena HBase effectue une poussée vers le bas des prédicats pour réduire les données analysées par la requête.

La fonction Lambda effectue également une poussée vers le bas de projection pour réduire les données analysées par la requête. Cependant, la sélection d'un sous-ensemble de colonnes entraîne parfois un temps d'exécution plus long de la requête. Les clauses LIMIT réduisent la quantité de données analysées, mais si vous ne fournissez pas de prédicat, vous devez vous attendre à ce que les requêtes SELECT avec une clause LIMIT analysent au moins 16 Mo de données.

HBase est susceptible de faire échouer des requêtes et d'avoir des temps d'exécution variables. Vous devrez peut-être réessayer vos requêtes plusieurs fois pour qu'elles aboutissent. Le connecteur HBase résiste à la limitation due à la simultanéité.

Requêtes passthrough

Le connecteur HBase prend en charge les requêtes passthrough et est basé sur NoSQL. Pour plus d'informations sur l'interrogation d'Apache HBase à l'aide du filtrage, consultez la section Langage des filtres dans la documentation d'Apache.

Pour utiliser des requêtes passthrough avec HBase, utilisez la syntaxe suivante :

SELECT * FROM TABLE(
        system.query(
            database => 'database_name',
            collection => 'collection_name',
            filter => '{query_syntax}'
        ))

L'exemple suivant permet de filtrer les requêtes HBase passthrough pour les employés âgés de 24 ou 30 ans au sein de la employee collection de la default base de données.

SELECT * FROM TABLE(
        system.query(
            DATABASE => 'default',
            COLLECTION => 'employee',
            FILTER => 'SingleColumnValueFilter(''personaldata'', ''age'', =, ''binary:30'')' ||
                       ' OR SingleColumnValueFilter(''personaldata'', ''age'', =, ''binary:24'')'
        ))

Informations de licence

Le projet de connecteur HBase Amazon Athena est concédé sous licence dans le cadre de la licence Apache-2.0.

Ressources supplémentaires

Pour plus d'informations sur ce connecteur, rendez-vous sur le site correspondant sur GitHub .com.