Utilisez le AWS Serverless Application Repository pour déployer un connecteur de source de données Hive - Amazon Athena

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisez le AWS Serverless Application Repository pour déployer un connecteur de source de données Hive

Pour déployer un connecteur de source de données Athena pour Hive, vous pouvez utiliser le AWS Serverless Application Repository au lieu de commencer par la console Athena. Utilisez le AWS Serverless Application Repository pour trouver le connecteur que vous souhaitez utiliser, fournir les paramètres requis par le connecteur, puis déployez le connecteur sur votre compte. Ensuite, après avoir déployé le connecteur, vous utilisez la console Athena pour rendre la source de données disponible pour Athena.

Pour utiliser le AWS Serverless Application Repository pour déployer un connecteur de source de données pour Hive sur votre compte

  1. Connectez-vous au référentiel d'applications sans serveur AWS Management Console et ouvrez-le.

  2. Dans le volet de navigation, choisissez Applications.

  3. Sélectionnez l'option Afficher les applications qui créent des IAM rôles ou des politiques de ressources personnalisés.

  4. Dans la zone de recherche, saisissez Hive. Les connecteurs qui apparaissent incluent les deux connecteurs suivants :

    • AthenaHiveMetastoreFunction – Fichier .jar de fonction Lambda uber.

    • AthenaHiveMetastoreFunctionWithLayer— Couche Lambda et fichier de fonctions Lambda fin. .jar

    Les deux applications ont les mêmes fonctionnalités et ne diffèrent que par leur implémentation. Vous pouvez utiliser l'une de ces deux méthodes pour créer une fonction Lambda qui connecte Athena à votre métastore Hive.

  5. Choisissez le nom du connecteur que vous souhaitez utiliser. Ce tutoriel utilise AthenaHiveMetastoreFunction.

    Choisissez le nom du connecteur de source de données Athena pour Hive.

  6. Sous Application settings (Paramètres de l'application), saisissez les paramètres de votre fonction Lambda.

    • LambdaFuncName— Donnez un nom à la fonction. Par exemple, myHiveMetastore.

    • SpillLocation— Spécifiez un emplacement Amazon S3 dans ce compte pour stocker les métadonnées dérivées si la taille de réponse de la fonction Lambda dépasse 4 Mo.

    • HMSUris— Entrez le nom URI de votre hôte de métastore Hive qui utilise le protocole Thrift sur le port 9083. Utilisez la syntaxe thrift://<host_name>:9083.

    • LambdaMemory— Spécifiez une valeur comprise entre 128 Mo et 3 008 Mo. Les CPU cycles alloués à la fonction Lambda sont proportionnels à la quantité de mémoire que vous configurez. La valeur par défaut est 1024.

    • LambdaTimeout— Spécifiez le temps d'exécution d'appel Lambda maximal autorisé en secondes, de 1 à 900 (900 secondes correspondent à 15 minutes). La valeur par défaut est de 300 secondes (5 minutes).

    • VPCSecurityGroupIds— Entrez une liste de groupes de VPC sécurité séparés par des virgules IDs pour le métastore Hive.

    • VPCSubnetIds— Entrez une liste de VPC sous-réseaux séparés par des virgules IDs pour le métastore Hive.

  7. En bas à droite de la page des détails de l'application, sélectionnez Je reconnais que cette application crée IAM des rôles personnalisés, puis choisissez Déployer.

À ce stade, vous pouvez configurer le service Athena pour qu'il utilise votre fonction Lambda afin de se connecter à votre métastore Hive. Pour les étapes, consultez Configuration d'Athena pour utiliser un connecteur de métastore Hive déployé.