Connectez-vous à un cluster Amazon EMR depuis Studio Classic SageMaker

Cette section explique comment vous connecter à un cluster Amazon EMR depuis un bloc-notes Studio Classic lorsque vous utilisez l'un des noyaux pris en charge.

Connexion à un cluster Amazon EMR automatiquement

Pour vous connecter à votre cluster à l'aide de l'interface utilisateur de Studio Classic, vous pouvez établir une connexion à partir de la liste des clusters accessibles ou à Découvrez les clusters Amazon EMR de Studio Classic SageMaker partir d'un bloc-notes dans SageMaker Studio Classic.

Pour vous connecter à un cluster spécifique à partir de votre liste de clusters

1. Choisissez le nom du cluster dans votre liste. Cela active le bouton Attacher au nouveau bloc-notes.

2. Choisissez Attacher au nouveau bloc-notes. Cela ouvre la boîte de sélection des images et des noyaux.

3. Sélectionnez votre image et votre noyau, puis choisissez Sélectionner. Pour obtenir la liste des images prises en charge, consultez Images et noyaux pris en charge pour se connecter à un cluster Amazon EMR depuis Studio Classic SageMaker ou référez-vous à Apporter votre propre image.

4. Si le cluster que vous sélectionnez n'utilise pas Kerberos, LDAP ou l'authentification par rôle d'exécution, Studio Classic vous invite à sélectionner le type d'identifiant. Choisissez entre Authentification de base HTTP ou Aucune information d'identification, puis entrez vos informations d'identification, le cas échéant. Une commande de connexion remplit la première cellule de votre bloc-notes et initie la connexion avec le cluster Amazon EMR.

   Une fois la connexion établie, un message confirme la connexion et le démarrage de l'application Spark.

Vous pouvez également vous connecter à un cluster depuis un bloc-notes.

1. Choisissez Cluster en haut de votre bloc-notes.

   Le Cluster n'est visible que lorsque vous utilisez un noyau depuis Images et noyaux pris en charge pour se connecter à un cluster Amazon EMR depuis Studio Classic SageMaker ou Apporter votre propre image. Si vous ne voyez pas Cluster en haut de votre bloc-notes, assurez-vous que votre administrateur a configuré la découvrabilité de vos clusters et passez à un noyau compatible.

   

   Une liste de clusters disponibles s'ouvre.

2. Sélectionnez le cluster auquel vous souhaitez vous connecter, puis choisissez Connecter.

3. Si vous avez configuré vos clusters Amazon EMR pour prendre en charge les rôles IAM d'exécution et que votre administrateur a préchargé vos rôles dans un JSON de configuration des rôles d'exécution, vous pouvez sélectionner votre rôle d'accès Amazon EMR dans le menu déroulant des rôles d'exécution Amazon EMR. Si vos rôles ne sont pas préchargés, Studio Classic utilise votre rôle d'exécution Studio Classic par défaut. Pour en savoir plus sur l'utilisation des rôles d'exécution avec Amazon EMR, consultez Connectez-vous à un cluster Amazon EMR depuis Studio Classic à l'aide de rôles IAM d'exécution. Lorsque vous vous connectez à un cluster, Studio Classic ajoute un bloc de code à une cellule active pour établir la connexion.

   Sinon, si le cluster que vous choisissez n'utilise pas Kerberos, LDAP ou l'authentification par rôle d'exécution, Studio Classic vous invite à sélectionner le type d'identifiant. Vous pouvez sélectionner HTTP basic authentication (Authentification de base HTTP) ou No credential (Pas d'information d'identification).

4. Une cellule active se remplit et s'exécute. Cette cellule contient la commande de connexion permettant de se connecter à votre cluster Amazon EMR.

   Une fois la connexion établie, un message confirme la connexion et le démarrage de l'application Spark.

Entrée manuelle de la commande de connexion à un cluster Amazon EMR

Vous pouvez vous connecter manuellement à votre cluster Amazon EMR depuis un bloc-notes Studio Classic, que votre application Studio Classic et votre cluster résident ou non sur le même AWS compte.

Pour chacun des types d'authentification suivants, utilisez la commande spécifiée pour vous connecter manuellement à votre cluster depuis votre bloc-notes Studio Classic.

• Kerberos

  Ajoutez l'argument --assumable-role-arn si vous avez besoin d'un accès Amazon EMR entre comptes. Ajoutez l'argument --verify-certificate si vous vous connectez à votre cluster via HTTPS.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Kerberos --language python 
  [--assumable-role-arn EMR_access_role_ARN ] 
  [--verify-certificate /home/user/certificateKey.pem]

• LDAP

  Ajoutez l'argument --assumable-role-arn si vous avez besoin d'un accès Amazon EMR entre comptes. Ajoutez l'argument --verify-certificate si vous vous connectez à votre cluster via HTTPS.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Basic_Access --language python 
  [--assumable-role-arn EMR_access_role_ARN ]
  [--verify-certificate /home/user/certificateKey.pem]

• NoAuth

  Ajoutez l'argument --assumable-role-arn si vous avez besoin d'un accès Amazon EMR entre comptes. Ajoutez l'argument --verify-certificate si vous vous connectez à votre cluster via HTTPS.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type None --language python
  [--assumable-role-arn EMR_access_role_ARN ]
  [--verify-certificate /home/user/certificateKey.pem]

• Rôles IAM d'exécution

  Ajoutez l'argument --assumable-role-arn si vous avez besoin d'un accès Amazon EMR entre comptes. Ajoutez l'argument --verify-certificate si vous vous connectez à votre cluster via HTTPS.

  Pour plus d'informations sur la connexion à un cluster Amazon EMR à l'aide de rôles IAM d'exécution, consultez Connectez-vous à un cluster Amazon EMR depuis Studio Classic à l'aide de rôles IAM d'exécution.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Basic_Access \
  --emr-execution-role-arn arn:aws:iam::studio_account_id:role/emr-execution-role-name
  [--assumable-role-arn EMR_access_role_ARN]
  [--verify-certificate /home/user/certificateKey.pem]

Connexion à un cluster Amazon EMR via HTTPS

Si vous avez configuré votre cluster Amazon EMR avec le chiffrement de transit activé et le serveur Apache Livy pour HTTPS et que vous souhaitez que Studio Classic communique avec Amazon EMR via HTTPS, vous devez configurer Studio Classic pour accéder à votre clé de certificat.

Pour les certificats autosignés ou signés par l'autorité de certification (CA) locale, vous pouvez procéder en deux étapes :

1. Téléchargez le fichier PEM de votre certificat sur votre système de fichiers local à l'aide de l'une des options suivantes :

   • Fonction de téléchargement de fichiers intégrée à Jupyter.

   • Cellule de bloc-notes.

   • Script de configuration du cycle de vie (LCC).

     Pour en savoir plus sur l'utilisation d'un script LCC, consultez Personnalisation d'une instance de bloc-notes à l'aide d'un script de configuration du cycle de vie.

2. Activez la validation du certificat en fournissant le chemin d'accès à votre certificat dans l'argument --verify-certificate de votre commande de connexion.

   %sm_analytics emr connect --cluster-id cluster_id \
       --verify-certificate /home/user/certificateKey.pem ... 

Pour les certificats publics émis par une autorité de certification, définissez la validation du certificat en définissant le paramètre --verify-certificate comme true.

Vous pouvez également désactiver la validation du certificat en définissant le paramètre --verify-certificate comme false.

Vous pouvez trouver la liste des commandes de connexion disponibles pour un cluster Amazon EMR dans Entrée manuelle de la commande de connexion à un cluster Amazon EMR.