Création et gestion de profils d'utilisation

Création d'un profil AWS Glue d'utilisation

Les administrateurs doivent créer des profils d'utilisation, puis les attribuer aux différents utilisateurs. Lorsque vous créez un profil d'utilisation, vous spécifiez des valeurs par défaut ainsi qu'une plage de valeurs autorisées pour différents paramètres de tâche et de session. Vous devez configurer au moins un paramètre pour les tâches ou les sessions interactives. Vous pouvez personnaliser la valeur par défaut à utiliser lorsqu'aucune valeur de paramètre n'est fournie pour la tâche, et/ou définir une limite de plage ou un ensemble de valeurs autorisées à des fins de validation si un utilisateur fournit une valeur de paramètre lors de l'utilisation de ce profil.

Les valeurs par défaut sont une bonne pratique définie par l'administrateur pour aider les auteurs de tâches. Lorsqu'un utilisateur crée une nouvelle tâche sans définir de valeur de délai d'expiration, le délai d'expiration par défaut du profil d'utilisation s'applique. Si l'auteur n'a pas de profil, les valeurs par défaut du AWS Glue service s'appliqueront et seront enregistrées dans la définition de la tâche. Lors de l' AWS Glue exécution, applique les limites définies dans le profil (min, max, travailleurs autorisés).

Une fois qu'un paramètre est configuré, tous les autres paramètres sont facultatifs. Les paramètres qui peuvent être personnalisés pour les tâches ou les sessions interactives sont les suivants :

• Nombre de travailleurs : limitez le nombre de travailleurs pour éviter une utilisation excessive des ressources informatiques. Vous pouvez définir une valeur par défaut, une valeur minimale et une valeur maximale. Le minimum est de 1.

• Type de travailleur : limitez les types de travailleurs adaptés à vos charges de travail. Vous pouvez définir un type par défaut et autoriser les types de travailleurs pour un profil utilisateur.

• Délai d'expiration : définissez la durée maximale pendant laquelle une tâche ou une session interactive peut s'exécuter et consommer des ressources avant son arrêt. Définissez des valeurs de délai d'expiration pour éviter les tâches de longue durée.

  Vous pouvez définir une valeur par défaut, minimale et maximale en minutes. Le minimum est de 1 (minute). Bien que le délai d'expiration AWS Glue par défaut soit de 2880 minutes, vous pouvez définir n'importe quelle valeur par défaut dans le profil d'utilisation.

  Il est recommandé de définir une valeur pour « par défaut ». Cette valeur sera utilisée pour la création de la tâche ou de la session si aucune valeur n'a été définie par l'utilisateur.

• Délai d'inactivité : définissez le nombre de minutes pendant lesquelles une session interactive est inactive avant l'expiration du délai après l'exécution d'une cellule. Définissez le délai d'inactivité pour que les sessions interactives se terminent une fois le travail terminé. La plage de temporisation d'inactivité doit être comprise dans la limite du délai d'expiration.

  Vous pouvez définir une valeur par défaut, minimale et maximale en minutes. Le minimum est de 1 (minute). Bien que le délai d'expiration AWS Glue par défaut soit de 2880 minutes, vous pouvez définir n'importe quelle valeur par défaut dans le profil d'utilisation.

  Il est recommandé de définir une valeur pour « par défaut ». Cette valeur sera utilisée pour la création de session si aucune valeur n'a été définie par l'utilisateur.

Pour créer un profil AWS Glue d'utilisation en tant qu'administrateur (console)

1. Dans le menu de navigation de gauche, choisissez Gestion des coûts.

2. Choisissez Créer un profil d'utilisation.

3. Entrez le nom du profil d'utilisation pour le profil d'utilisation.

4. Entrez une description facultative qui aidera les autres utilisateurs à reconnaître l'objectif du profil d'utilisation.

5. Définissez au moins un paramètre dans le profil. Tout champ du formulaire est un paramètre. Par exemple, le délai d'inactivité minimal de la session.

6. Définissez les balises facultatives qui s'appliquent au profil d'utilisation.

7. Choisissez Save (Enregistrer).

   

Pour créer un profil d'utilisation (AWS CLI)

1. Entrez la commande suivante.

   aws glue create-usage-profile --name profile-name --configuration file://config.json --tags list-of-tags

   où le fichier config.json peut définir des valeurs de paramètres pour les sessions interactives (SessionConfiguration) et les jobs (JobConfiguration) :

   //config.json (There is a separate blob for session/job configuration
   {
       "SessionConfiguration": {
           "timeout": {
               "DefaultValue": "2880",
               "MinValue": "100",
               "MaxValue": "4000"
           },
           "idleTimeout": {
               "DefaultValue": "30",
               "MinValue": "10",
               "MaxValue": "4000"
           },
           "workerType": {
               "DefaultValue": "G.2X",
               "AllowedValues": [
                   "G.2X",
                   "G.4X",
                   "G.8X"
               ]
           },
           "numberOfWorkers": {
               "DefaultValue": "10",
               "MinValue": "1",
               "MaxValue": "10"
           }
       },
       "JobConfiguration": {
           "timeout": {
               "DefaultValue": "2880",
               "MinValue": "100",
               "MaxValue": "4000"
           },
           "workerType": {
               "DefaultValue": "G.2X",
               "AllowedValues": [
                   "G.2X",
                   "G.4X",
                   "G.8X"
               ]
           },
           "numberOfWorkers": {
               "DefaultValue": "10",
               "MinValue": "1",
               "MaxValue": "10"
           }
       }
   }

2. Entrez la commande suivante pour voir le profil d'utilisation créé :

   aws glue get-usage-profile --name profile-name

   La réponse :

   {
       "ProfileName": "foo",
       "Configuration": {
           "SessionConfiguration": {
               "numberOfWorkers": {
                   "DefaultValue": "10",
                   "MinValue": "1",
                   "MaxValue": "10"
               },
               "workerType": {
                   "DefaultValue": "G.2X",
                   "AllowedValues": [
                       "G.2X",
                       "G.4X",
                       "G.8X"
                   ]
               },
               "timeout": {
                   "DefaultValue": "2880",
                   "MinValue": "100",
                   "MaxValue": "4000"
               },
               "idleTimeout": {
                   "DefaultValue": "30",
                   "MinValue": "10",
                   "MaxValue": "4000"
               }
           },
           "JobConfiguration": {
               "numberOfWorkers": {
                   "DefaultValue": "10",
                   "MinValue": "1",
                   "MaxValue": "10"
               },
               "workerType": {
                   "DefaultValue": "G.2X",
                   "AllowedValues": [
                       "G.2X",
                       "G.4X",
                       "G.8X"
                   ]
               },
               "timeout": {
                   "DefaultValue": "2880",
                   "MinValue": "100",
                   "MaxValue": "4000"
               }
           }
       },
       "CreatedOn": "2024-01-19T23:15:24.542000+00:00"
   }

Commandes CLI supplémentaires utilisées pour gérer les profils d'utilisation :

• colle à cire list-usage-profiles

• aws glue update-usage-profile --name --configuration profile-name file://config.json

• aws glue delete-usage-profile --name profile-name

Modification d'un profil d'utilisation

Les administrateurs peuvent modifier les profils d'utilisation qu'ils ont créés afin de modifier les valeurs des paramètres de profil pour les tâches et les sessions interactives.

Pour modifier un profil d'utilisation :

Pour modifier un profil AWS Glue d'utilisation en tant qu'administrateur (console)

1. Dans le menu de navigation de gauche, choisissez Gestion des coûts.

2. Choisissez un profil d'utilisation que vous êtes autorisé à modifier, puis cliquez sur Modifier.

3. Apportez les modifications nécessaires au profil. Par défaut, les paramètres qui comportent déjà des valeurs sont développés.

4. Choisissez Enregistrer les modifications.

   

Pour modifier un profil d'utilisation (AWS CLI)

• Entrez la commande suivante. La même syntaxe de --configuration fichier est utilisée comme indiqué ci-dessus dans la commande de création.

  aws glue update-usage-profile --name profile-name --configuration file://config.json

  où le fichier config.json définit les valeurs des paramètres pour les sessions interactives (SessionConfiguration) et les jobs (JobConfiguration) :

Affectation d'un profil d'utilisation

La colonne État d'utilisation de la page Profils d'utilisation indique si un profil d'utilisation est attribué aux utilisateurs. Le survol de l'état indique les entités IAM assignées.

L'administrateur peut attribuer un profil d' AWS Glue utilisation aux utilisateurs/rôles qui créent AWS Glue des ressources. L'attribution d'un profil est une combinaison de deux actions :

• Mettre à jour le tag utilisateur/rôle IAM avec la glue:UsageProfile clé, puis

• Mise à jour de la politique IAM de l'utilisateur/du rôle.

Pour les utilisateurs qui utilisent AWS Glue Studio pour créer des tâches ou des sessions interactives, l'administrateur attribue les rôles suivants :

• Pour les restrictions sur les tâches, l'administrateur balise le rôle de console connecté

• Pour les restrictions sur les sessions interactives, l'administrateur balise le rôle fourni par l'utilisateur lors de la création du bloc-notes

Voici un exemple de politique que l'administrateur doit mettre à jour sur les utilisateurs/rôles IAM qui créent des ressources : AWS Glue

{
    "Effect": "Allow",
    "Action": [
        "glue:GetUsageProfile"
    ],
    "Resource": [
        "arn:aws:glue:us-east-1:123456789012:usageProfile/foo"
    ]
}

AWS Glue valide les demandes de travail, d'exécution de tâches et de session en fonction des valeurs spécifiées dans le profil AWS Glue d'utilisation et déclenche une exception si la demande est refusée. En mode synchrone APIs, une erreur sera renvoyée à l'utilisateur. Pour les chemins asynchrones, une exécution de tâche échouée est créée avec le message d'erreur indiquant que le paramètre d'entrée se situe en dehors de la plage autorisée pour le profil attribué à l'utilisateur/au rôle.

Pour attribuer un profil d'utilisation à un utilisateur/rôle :

1. Ouvrez la console IAM (Identity and Access Management).

2. Dans le volet de navigation de gauche, sélectionnez Utilisateurs ou Rôles.

3. Choisissez un utilisateur ou un rôle.

4. Sélectionnez l’onglet Tags (Identifications).

5. Choisissez Ajouter un nouveau tag

6. Ajoutez une balise avec la clé glue:UsageProfile et la valeur du nom de votre profil d'utilisation.

7. Choisissez Enregistrer les modifications

   

Afficher le profil d'utilisation qui vous a été attribué

Les utilisateurs peuvent consulter les profils d'utilisation qui leur sont assignés et les utiliser lorsqu'ils effectuent des appels d'API pour créer des ressources de AWS Glue tâche et de session, ou lorsqu'ils démarrent une tâche.

Les autorisations de profil sont fournies dans les politiques IAM. Tant que la politique d'appel prévoit l'glue:UsageProfileautorisation, un utilisateur peut voir le profil. Dans le cas contraire, vous recevrez un message d'erreur de refus d'accès.

Pour consulter un profil d'utilisation attribué, procédez comme suit :

1. Dans le menu de navigation de gauche, choisissez Gestion des coûts.

2. Choisissez un profil d'utilisation que vous êtes autorisé à consulter.