Connectez-vous à un EMR cluster Amazon depuis votre bloc-notes

Si vous vous connectez à un EMR cluster Amazon depuis votre bloc-notes Jupyter dans Studio, vous devrez peut-être effectuer une configuration supplémentaire. La discussion suivante aborde en particulier deux questions :

• Transmission de paramètres dans votre commande de EMR connexion Amazon. Dans SparkMagic les noyaux, les paramètres que vous transmettez à votre commande de EMR connexion Amazon peuvent ne pas fonctionner comme prévu en raison des différences entre la façon dont Papermill transmet les paramètres et SparkMagic reçoit les paramètres. La solution de contournement pour remédier à cette limitation consiste à transmettre des paramètres sous forme de variables d'environnement. Pour plus d'informations sur le problème et la solution de contournement, veuillez consulter Passez des paramètres à votre commande EMR de connexion.

• Transmission des informations d'identification utilisateur à Kerberos ou à des clusters LDAP Amazon authentifiés par HTTP Basic Auth. EMR En mode interactif, Studio demande des informations d'identification dans un formulaire contextuel dans lequel vous pouvez saisir vos informations d'identification de connexion. Dans votre bloc-notes planifié non interactif, vous devez les transmettre via AWS Secrets Manager. Pour plus de détails sur l'utilisation des tâches planifiées AWS Secrets Manager dans votre bloc-notes, consultezTransmettez les informations d'identification utilisateur à votre cluster Amazon authentifié par Kerberos ou HTTP Basic Auth LDAP EMR.

Passez des paramètres à votre commande EMR de connexion

Si vous utilisez des images avec les noyaux SparkMagic PySpark et Spark et que vous souhaitez paramétrer votre commande de EMR connexion, indiquez vos paramètres dans le champ Variables d'environnement plutôt que dans le champ Paramètres du formulaire Create Job (dans le menu déroulant Options supplémentaires). Assurez-vous que votre commande de EMR connexion dans le bloc-notes Jupyter transmet ces paramètres en tant que variables d'environnement. Supposons, par exemple, que vous transmettiez cluster-id en tant que variable d'environnement lorsque vous créez votre tâche. Votre commande de EMR connexion doit ressembler à ce qui suit :

%%local
import os

%sm_analytics emr connect —cluster-id {os.getenv('cluster_id')} --auth-type None

Vous avez besoin de cette solution pour répondre aux exigences de SparkMagic Papermill. Pour le contexte d'arrière-plan, le SparkMagic noyau s'attend à ce que la commande %%local magique accompagne toutes les variables locales que vous définissez. Cependant, Papermill ne transmet pas la commande magique %%local avec vos remplacements. Pour contourner cette limitation de Papermill, vous devez fournir vos paramètres sous forme de variables d'environnement dans le champ Environment variables (Variables d'environnement).

Transmettez les informations d'identification utilisateur à votre cluster Amazon authentifié par Kerberos ou HTTP Basic Auth LDAP EMR

Pour établir une connexion sécurisée à un EMR cluster Amazon qui utilise l'authentification Kerberos ou HTTP Basic AuthLDAP, vous utilisez la commande AWS Secrets Manager pour transmettre les informations d'identification utilisateur à votre commande de connexion. Pour plus d'informations sur la création d'un secret Secrets Manager, veuillez consulter Création d'un secret AWS Secrets Manager. Votre secret doit contenir votre nom d'utilisateur et votre mot de passe. Vous transmettez le secret avec l'argument --secrets, comme le montre l'exemple suivant :

%sm_analytics emr connect --cluster-id j_abcde12345 
    --auth Kerberos 
    --secret aws_secret_id_123

Votre administrateur peut définir une politique d'accès flexible à l'aide d'une méthode attribute-based-access-control (ABAC), qui attribue l'accès en fonction de balises spéciales. Vous pouvez configurer un accès flexible afin de créer un secret unique pour tous les utilisateurs du compte ou un secret pour chaque utilisateur. Les exemples de code suivants illustrent ces scénarios :

Créer un secret unique pour tous les utilisateurs du compte

{
    "Version" : "2012-10-17",
    "Statement" : [ 
        {
            "Effect": "Allow",
            "Principal" : {"AWS" : "arn:aws:iam::AWS_ACCOUNT_ID:role/service-role/AmazonSageMaker-ExecutionRole-20190101T012345"},

            "Action" : "secretsmanager:GetSecretValue",
            "Resource" : [  "arn:aws:secretsmanager:us-west-2:AWS_ACCOUNT_ID:secret:aes123-1a2b3c", 
                            "arn:aws:secretsmanager:us-west-2:AWS_ACCOUNT_ID:secret:aes456-4d5e6f", 
                            "arn:aws:secretsmanager:us-west-2:AWS_ACCOUNT_ID:secret:aes789-7g8h9i" ]
        }
    ]
}

Créer un secret différent pour chaque utilisateur

Vous pouvez créer un secret différent pour chaque utilisateur à l'aide de la balise PrincipleTag, comme illustré dans l'exemple suivant :

{
    "Version" : "2012-10-17",
    "Statement" : [ 
        {
            "Effect": "Allow",
            "Principal" : {"AWS" : "arn:aws:iam::AWS_ACCOUNT_ID:role/service-role/AmazonSageMaker-ExecutionRole-20190101T012345"},
            "Condition" : {
                "StringEquals" : {
                    "aws:ResourceTag/user-identity": "${aws:PrincipalTag/user-identity}"
                }
            },
            "Action" : "secretsmanager:GetSecretValue",
            "Resource" : [  "arn:aws:secretsmanager:us-west-2:AWS_ACCOUNT_ID:secret:aes123-1a2b3c", 
                            "arn:aws:secretsmanager:us-west-2:AWS_ACCOUNT_ID:secret:aes456-4d5e6f", 
                            "arn:aws:secretsmanager:us-west-2:AWS_ACCOUNT_ID:secret:aes789-7g8h9i" ]
        }
    ]
}