Gérer un Amazon EMR Studio - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Gérer un Amazon EMR Studio

Cette section contient des instructions pour vous aider à surveiller, à mettre à jour ou à supprimer une ressource EMR Studio. Pour plus d'informations sur l'attribution d'utilisateurs ou la mise à jour des autorisations utilisateur, consultez Attribuer et gérer les utilisateurs d'EMR Studio.

Afficher les détails de Studio

New console
Pour afficher les informations relatives à un EMR Studio avec la nouvelle console
  1. Ouvrez la console Amazon EMR à l'adresse https://console.aws.amazon.com/emr.

  2. Sous EMR Studio dans le menu de navigation de gauche, choisissez Studios.

  3. Sélectionnez le Studio dans la liste Studios pour ouvrir la page détaillée du Studio. La page détaillée du Studio inclut des informations sur les Paramètres du studio, telles que la Description, le VPC et les Sous-réseaux du Studio.

Old console
Pour afficher les informations relatives à un EMR Studio avec l'ancienne console
  1. Ouvrez la console Amazon EMR à l'adresse https://console.aws.amazon.com/elasticmapreduce/home.

  2. Dans le volet de navigation de gauche, choisissez EMR Studio.

  3. Sélectionnez le Studio dans la liste Studios pour ouvrir la page détaillée du Studio. La page détaillée du Studio inclut des informations sur les Paramètres du studio, telles que la Description, le VPC et les Sous-réseaux du Studio.

CLI

Pour récupérer les informations d'un EMR Studio par ID de Studio à l'aide de l'AWS CLI

Utilisez la commande describe-studio suivante de l'AWS CLI pour obtenir des informations détaillées sur un EMR Studio spécifique. Pour plus d’informations, consultez la référence de la commande AWS CLI.

aws emr describe-studio \ --studio-id <id-of-studio-to-describe> \

Pour récupérer une liste des EMR Studios à l'aide de l'AWS CLI

Utilisez la commande list-studios suivante de l'AWS CLI. Pour plus d’informations, consultez la référence de la commande AWS CLI.

aws emr list-studios

Voici un exemple de valeur de retour pour la commande list-studios au format JSON.

{ "Studios": [ { "AuthMode": "IAM", "VpcId": "vpc-b21XXXXX", "Name": "example-studio-name", "Url": "https://es-7HWP74SNGDXXXXXXXXXXXXXXX.emrstudio-prod.us-east-1.amazonaws.com", "CreationTime": 1605672582.781, "StudioId": "es-7HWP74SNGDXXXXXXXXXXXXXXX", "Description": "example studio description" } ] }

Surveiller les actions Amazon EMR Studio

Afficher l'activité de l'EMR Studio et de l'API

EMR Studio est intégré à AWS CloudTrail, un service qui enregistre les actions effectuées par un utilisateur, un rôle ou un service IAM ou par un autre service AWS dans EMR Studio. CloudTrail capture les appels d'API pour EMR Studio sous forme d'événements. Vous pouvez consulter les événements à l'aide de la CloudTrail console à l'adresse https://console.aws.amazon.com/cloudtrail/.

Les événements EMR Studio fournissent des informations telles que l'utilisateur Studio ou IAM qui fait une requête et le type de requête.

Note

Les actions sur le cluster, telles que l'exécution de tâches de bloc-notes, n'émettent pas AWS CloudTrail.

Vous pouvez également créer un journal pour la diffusion continue des CloudTrail événements EMR Studio vers un compartiment Amazon S3. Pour plus d’informations, consultez le Guide de l’utilisateur AWS CloudTrail.

Exemple CloudTrail d'événement : un utilisateur appelle l' DescribeStudioAPI

Voici un exemple d'AWS CloudTrailévénement créé lorsqu'un utilisateur appelle l'DescribeStudioAPI. admin CloudTrail enregistre le nom d'utilisateur sous la formeadmin.

Note

Pour protéger les informations de Studio, l'événement d'API EMR Studio pour DescribeStudio exclut une valeur pour. responseElements

{ "eventVersion":"1.08", "userIdentity":{ "type":"IAMUser", "principalId":"AIDXXXXXXXXXXXXXXXXXX", "arn":"arn:aws:iam::653XXXXXXXXX:user/admin", "accountId":"653XXXXXXXXX", "accessKeyId":"AKIAIOSFODNN7EXAMPLE", "userName":"admin" }, "eventTime":"2021-01-07T19:13:58Z", "eventSource":"elasticmapreduce.amazonaws.com", "eventName":"DescribeStudio", "awsRegion":"us-east-1", "sourceIPAddress":"72.XX.XXX.XX", "userAgent":"aws-cli/1.18.188 Python/3.8.5 Darwin/18.7.0 botocore/1.19.28", "requestParameters":{ "studioId":"es-9O5XXXXXXXXXXXXXXXXXXXXXX" }, "responseElements":null, "requestID":"0fxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "eventID":"b0xxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "readOnly":true, "eventType":"AwsApiCall", "managementEvent":true, "eventCategory":"Management", "recipientAccountId":"653XXXXXXXXX" }

Afficher l'activité des utilisateurs et des tâches Spark

Pour consulter l'activité des tâches Spark par les utilisateurs d'Amazon EMR Studio, vous pouvez configurer l'emprunt d'identité de l'utilisateur sur un cluster. Avec l'emprunt d'identité de l'utilisateur, chaque tâche Spark soumise depuis un espace de travail est associée à l'utilisateur de Studio qui a exécuté le code.

Lorsque l'emprunt d'identité de l'utilisateur est activé, Amazon EMR crée un répertoire d'utilisateurs HDFS sur le nœud primaire du cluster pour chaque utilisateur qui exécute du code dans l'espace de travail. Par exemple, si l'utilisateur studio-user-1@example.com exécute du code, vous pouvez vous connecter au nœud primaire et voir que hadoop fs -ls /user a un répertoire pour studio-user-1@example.com.

Pour configurer l'emprunt d'identité de l'utilisateur Spark, définissez les propriétés suivantes dans les classifications de configuration suivantes :

  • core-site

  • livy-conf

[ { "Classification": "core-site", "Properties": { "hadoop.proxyuser.livy.groups": "*", "hadoop.proxyuser.livy.hosts": "*" } }, { "Classification": "livy-conf", "Properties": { "livy.impersonation.enabled": "true" } } ]

Pour voir les pages du serveur d'historique, consultez Déboguer des applications et des tâches avec EMR Studio. Vous pouvez également vous connecter au nœud primaire du cluster à l'aide de SSH pour afficher les interfaces web des applications. Pour plus d’informations, consultez Afficher les interfaces Web hébergées sur des EMR clusters Amazon.

Mettre à jour un Amazon EMR Studio

Après avoir créé un EMR Studio, vous pouvez mettre à jour les attributs suivants à l'aide de l'AWS CLI :

  • Name (Nom)

  • Description

  • Emplacement S3 par défaut

  • Sous-réseaux

Pour mettre à jour un EMR Studio à l'aide de l'AWS CLI

Utilisez la commande update-studio de l'AWS CLI pour mettre à jour un EMR Studio. Pour plus d’informations, consultez la référence de la commande AWS CLI.

Note

Vous pouvez associer un Studio à un maximum de 5 sous-réseaux. Ces sous-réseaux doivent appartenir au même VPC que le Studio. La liste des ID de sous-réseau que vous soumettez à la commande update-studio peut inclure de nouveaux ID de sous-réseau, mais doit également inclure tous les ID de sous-réseau que vous avez déjà associés au Studio. Vous ne pouvez pas supprimer de sous-réseaux d'un Studio.

aws emr update-studio \ --studio-id <example-studio-id-to-update> \ --name <example-new-studio-name> \ --subnet-ids <old-subnet-id-1 old-subnet-id-2 old-subnet-id-3 new-subnet-id> \

Pour vérifier les modifications, utilisez la commande describe-studio de l'AWS CLI et spécifiez votre ID de Studio. Pour plus d’informations, consultez la référence de la commande AWS CLI.

aws emr describe-studio \ --studio-id <id-of-updated-studio> \

Supprimer un Amazon EMR Studio et des espaces de travail

Lorsque vous supprimez un Studio, EMR Studio supprime toutes les attributions d'utilisateurs et de groupes IAM Identity Center associées au Studio.

Note

Lorsque vous supprimez un Studio, Amazon EMR ne supprime pas les espaces de travail associés à ce Studio. Vous devez supprimer les espaces de travail de votre Studio séparément.

Supprimer des espaces de travail

Console

Chaque espace de travail EMR Studio étant une instance de bloc-notes EMR, vous pouvez utiliser la console de gestion Amazon EMR pour supprimer des espaces de travail. Vous pouvez supprimer des espaces de travail à l'aide de la console Amazon EMR avant ou après avoir supprimé votre Studio.

Pour supprimer un espace de travail à l'aide de la console Amazon EMR
  1. Accédez à la nouvelle console Amazon EMR et sélectionnez Changer pour l'ancienne console depuis le menu latéral. Pour plus d'informations sur ce qu'implique le passage à l'ancienne console, consultez la rubrique Utilisation de l'ancienne console.

  2. Choisissez Blocs-notes.

  3. Sélectionnez le ou les espaces de travail que vous souhaitez supprimer.

  4. Choisissez Supprimer, puis à nouveau Supprimer pour confirmer.

  5. Suivez les instructions relatives à la suppression d'objets dans le Guide de l'utilisateur de la console Amazon Simple Storage Service si vous souhaitez supprimer les fichiers de bloc-notes associés à l'espace de travail supprimé d'Amazon S3.

EMR Studio UI
From the Workspace UIFrom the Workspaces list
From the Workspace UI
Supprimez un Workspace et les fichiers de sauvegarde rattachés dans EMR Studio
  1. Connectez-vous à votre EMR Studio à l'aide de votre URL d'accès au studio et choisissez Espaces de travail dans le menu de navigation de gauche.

  2. Trouvez votre Workspace dans la liste et cochez la case à côté de son nom. Vous pouvez sélectionner plusieurs Workspaces à supprimer en même temps.

  3. Choisissez Supprimer dans le coin supérieur droit de la liste Espaces de travail et confirmez que vous souhaitez supprimer les Workspaces sélectionnés. Choisissez Supprimer pour confirmer.

  4. Si vous souhaitez supprimer les fichiers de bloc-notes rattachés au Workspace supprimé d'Amazon S3, suivez les instructions relatives à la suppression d'objets dans le Guide de l'utilisateur de la console Amazon Simple Storage Service. Si vous n'avez pas créé le Studio, consultez votre administrateur afin de déterminer l'emplacement de sauvegarde Amazon S3 pour le Workspace supprimé.

From the Workspaces list
Supprimer un Workspace ainsi que les fichiers de sauvegarde rattachés de la liste des Workspaces
  1. Accédez à la liste des Workspaces dans la console.

  2. Sélectionnez le Workspace que vous souhaitez supprimer dans la liste, puis choisissez Actions.

  3. Sélectionnez Delete (Supprimer).

  4. Si vous souhaitez supprimer les fichiers de bloc-notes rattachés au Workspace supprimé d'Amazon S3, suivez les instructions relatives à la suppression d'objets dans le Guide de l'utilisateur de la console Amazon Simple Storage Service. Si vous n'avez pas créé le Studio, consultez votre administrateur afin de déterminer l'emplacement de sauvegarde Amazon S3 pour le Workspace supprimé.

Supprimer un EMR Studio

New console
Pour supprimer un EMR Studio avec la nouvelle console
  1. Ouvrez la console Amazon EMR à l'adresse https://console.aws.amazon.com/emr.

  2. Sous EMR Studio dans le menu de navigation de gauche, choisissez Studios.

  3. Sélectionnez le Studio dans la liste Studios avec le bouton situé à gauche du nom du Studio. Sélectionnez Delete (Supprimer).

Old console
Pour supprimer un EMR Studio avec l'ancienne console
  1. Ouvrez la console Amazon EMR à l'adresse https://console.aws.amazon.com/elasticmapreduce/home.

  2. Dans le volet de navigation de gauche, choisissez EMR Studio.

  3. Sélectionnez le Studio dans la liste Studios et choisissez Supprimer.

CLI

Pour supprimer un EMR Studio avec l'AWS CLI

Utilisez la commande delete-studio de l'AWS CLI pour supprimer un EMR Studio. Pour plus d’informations, consultez la référence de la commande AWS CLI.

aws emr delete-studio --studio-id <id-of-studio-to-delete>