Accès aux tables Amazon S3 à l'aide du AWS GlueIceberg REST point de terminaison

Une fois que vos compartiments de tables S3 sont intégrés au, AWS Glue Data Catalog vous pouvez utiliser le AWS GlueIceberg REST point de terminaison pour vous connecter à vos tables S3 à partir de clients Apache Iceberg compatibles, tels que PyIceberg ou. Spark Le AWS Glue Iceberg REST point de terminaison implémente la spécification Iceberg REST Catalog Open API qui fournit une interface standardisée pour interagir avec Iceberg les tables. Pour accéder aux tables S3 à l'aide du point de terminaison, vous devez configurer les autorisations via une combinaison de politiques et d' AWS Lake Formation autorisations IAM. Les sections suivantes expliquent comment configurer l'accès, notamment en créant le rôle IAM nécessaire, en définissant les politiques requises et en établissant les autorisations de Lake Formation pour l'accès à la base de données et au niveau de la table.

Pour une description détaillée de l'utilisation de bout en boutPyIceberg, consultez Accéder aux données dans les tables Amazon S3 PyIceberg via le AWS GlueIceberg REST point de terminaison.

Prérequis

• Intégrez vos compartiments de table aux services d' AWS analyse

• Création d'un espace de noms de table

• Avoir accès à un compte d'administrateur de data lake

Créez un rôle IAM pour votre client

Pour accéder aux tables via des AWS Glue points de terminaison, vous devez créer un rôle IAM avec des autorisations AWS Glue et des actions Lake Formation. Cette procédure explique comment créer ce rôle et configurer ses autorisations.

1. Ouvrez la console IAM à l'adresse https://console.aws.amazon.com/iam/.

2. Dans le volet de navigation de gauche, choisissez Politiques.

3. Choisissez Créer une politique, puis JSON dans l’éditeur de politique.

4. Ajoutez la politique intégrée suivante qui accorde des autorisations d'accès AWS Glue et des actions relatives à Lake Formation :

   JSON

5. Après avoir créé la politique, créez un rôle IAM et choisissez Politique de confiance personnalisée comme type d'entité fiable.

6. Entrez ce qui suit pour la politique de confiance personnalisée.

   JSON

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "AWS": "arn:aws:iam::111122223333:role/<Admin_role>"
               },
               "Action": "sts:AssumeRole",
               "Condition": {}
           }
       ]
   }
   

Définir l'accès dans Lake Formation

Lake Formation fournit un contrôle d'accès précis pour vos tables de lacs de données. Lorsque vous avez intégré votre compartiment S3 au AWS Glue Data Catalog, vos tables ont été automatiquement enregistrées en tant que ressources dans Lake Formation. Pour accéder à ces tables, vous devez accorder des autorisations spécifiques à Lake Formation pour votre identité IAM, en plus de ses autorisations de politique IAM.

Les étapes suivantes expliquent comment appliquer les contrôles d'accès à Lake Formation pour permettre à votre Iceberg client de se connecter à vos tables. Vous devez vous connecter en tant qu'administrateur du lac de données pour appliquer ces autorisations.

Autoriser les moteurs externes à accéder aux données des tables

Dans Lake Formation, vous devez activer l'accès complet aux tables pour que les moteurs externes puissent accéder aux données. Cela permet aux applications tierces d'obtenir des informations d'identification temporaires auprès de Lake Formation lorsqu'elles utilisent un rôle IAM disposant d'autorisations complètes sur la table demandée.

Ouvrez la console Lake Formation à l'adresse https://console.aws.amazon.com/lakeformation/.

1. Ouvrez la console Lake Formation à l'https://console.aws.amazon.com/lakeformation/adresse et connectez-vous en tant qu'administrateur de lac de données.

2. Dans le volet de navigation, sous Administration, sélectionnez Paramètres d'intégration des applications.

3. Sélectionnez Autoriser les moteurs externes à accéder aux données des emplacements Amazon S3 avec un accès complet aux tables. Ensuite, choisissez Save (Enregistrer).

Octroi des autorisations Lake Formation sur vos ressources de table

Ensuite, accordez à Lake Formation des autorisations pour le rôle IAM que vous avez créé pour votre client compatible avec Iceberg. Ces autorisations permettront au rôle de créer et de gérer des tables dans votre espace de noms. Vous devez fournir des autorisations au niveau de la base de données et au niveau de la table. Pour de plus amples informations, veuillez consulter Octroi de l'autorisation Lake Formation sur une table ou une base de données.

Configurez votre environnement pour utiliser le point de terminaison

Après avoir configuré le rôle IAM avec les autorisations requises pour accéder aux tables, vous pouvez l'utiliser pour exécuter des Iceberg clients depuis votre machine locale en le configurant AWS CLI avec votre rôle, à l'aide de la commande suivante :

aws sts assume-role --role-arn "arn:aws:iam::<accountid>:role/<glue-irc-role>" --role-session-name <glue-irc-role>

Pour accéder aux tables via le AWS Glue REST point de terminaison, vous devez initialiser un catalogue dans votre client Iceberg compatible. Cette initialisation nécessite de spécifier des propriétés personnalisées, notamment les propriétés sigv4, l'URI du point de terminaison et l'emplacement de l'entrepôt. Spécifiez ces propriétés comme suit :

• Propriétés Sigv4 - Sigv4 doit être activé, le nom de signature est glue

• Emplacement de l'entrepôt - Il s'agit de votre compartiment de table, spécifié dans ce format : <accountid>:s3tablescatalog/<table-bucket-name>

• URI du point de terminaison : reportez-vous au guide de référence des points AWS Glue de terminaison de service pour le point de terminaison spécifique à la région

L'exemple suivant montre comment initialiser un pyIceberg catalogue.

rest_catalog = load_catalog(
        s3tablescatalog,
**{
"type": "rest",
"warehouse": "<accountid>:s3tablescatalog/<table-bucket-name>",
"uri": "https://glue.<region>.amazonaws.com/iceberg",
"rest.sigv4-enabled": "true",
"rest.signing-name": "glue",
"rest.signing-region": region
        }
)

Pour plus d'informations sur l'implémentation du AWS GlueIceberg REST point de terminaison, consultez la section Connexion au catalogue de données à l'aide d'un point de AWS GlueIceberg REST terminaison dans le guide de AWS Glue l'utilisateur.