Résoudre les problèmes des charges de travail dans Amazon EMR et les surveiller - Amazon SageMaker

Résoudre les problèmes des charges de travail dans Amazon EMR et les surveiller

Les sections suivantes donnent des instructions pour accéder à l'interface utilisateur Spark à partir des blocs-notes SageMaker Studio. L'interface utilisateur Spark vous permet de surveiller et de déboguer vos tâches Spark soumises pour s'exécuter sur Amazon EMR à partir de blocs-notes Studio. Le tunneling SSH et les URL présignées sont deux manières d'accéder à l'interface utilisateur Spark.

Configurer le tunneling SSH pour l'accès à l'interface utilisateur Spark

Pour configurer le tunnel SSH pour accéder à l'interface utilisateur Spark, suivez l'une des deux options de cette section. Notez que la capture d'écran de l'étape 6b de Connexion à un cluster Amazon EMR depuis Studio montre des liens sous l'interface utilisateur Spark et le journal du pilote. Ces liens ne s'activeront qu'une fois que vous aurez terminé la configuration du tunnel SSH.

Options de configuration du tunnel SSH :

Pour plus d'informations sur l'affichage des interfaces web hébergées sur les clusters Amazon EMR, consultez Afficher les interfaces Web hébergées sur des clusters Amazon EMR. Vous pouvez également visiter votre console Amazon EMR pour accéder à l'interface utilisateur Spark.

Note

Vous pouvez configurer un tunnel SSH même si les URL présignées ne sont pas disponibles pour vous.

URL pré-signées

Pour créer des URL en un clic pouvant accéder à l'interface utilisateur Spark sur Amazon EMR à partir des blocs-notes SageMaker Studio, vous devez activer les autorisations IAM suivantes. Choisissez l'option qui s'applique à votre cas :

  • Pour les clusters Amazon EMR qui se trouvent dans le même compte que le bloc-notes SageMaker Studio : ajoutez les autorisations suivantes au rôle d'exécution IAM de SageMaker Studio.

  • Pour les clusters Amazon EMR qui se trouvent dans un autre compte (pas un bloc-notes SageMaker Studio) : ajoutez les autorisations suivantes au rôle entre comptes que vous avez créé pour Découvrir les clusters Amazon EMR de Studio.

Note

Vous pouvez accéder aux URL présignées depuis la console dans les régions suivantes :

  • Région US East (N. Virginia)

  • Région US West (N. California)

  • Région Canada (Centre)

  • Région Europe (Francfort)

  • Région Europe (Stockholm)

  • Région Europe (Ireland)

  • Région Europe (Londres)

  • Région Europe (Paris)

  • Région Asia Pacific (Tokyo)

  • Région Asia Pacific (Seoul)

  • Région Asia Pacific (Sydney)

  • Région Asia Pacific (Mumbai)

  • Région Asia Pacific (Singapore)

  • Amérique du Sud (Sao Paulo)

La politique suivante donne accès aux URL présignées pour votre rôle d'exécution.

{ "Sid": "AllowPresignedUrl", "Effect": "Allow", "Action": [ "elasticmapreduce:DescribeCluster", "elasticmapreduce:ListInstanceGroups", "elasticmapreduce:CreatePersistentAppUI", "elasticmapreduce:DescribePersistentAppUI", "elasticmapreduce:GetPersistentAppUIPresignedURL", "elasticmapreduce:GetOnClusterAppUIPresignedURL" ], "Resource": [ "arn:aws:elasticmapreduce:<region>:<account-id>:cluster/*" ] }

Pour plus d'informations sur les autorisations requises, consultez Autorisations nécessaires.