Création d'un point de terminaison interactif pour votre cluster virtuel

Cette page décrit comment créer un point de terminaison interactif à l'aide de l'interface de ligne de AWS commande (AWS CLI).

Création d'un point de terminaison interactif à l'aide de la commande create-managed-endpoint

Indiquez les paramètres de la commande create-managed-endpoint comme suit. Amazon EMR on EKS prend en charge la création de points de terminaison interactifs avec les EMR versions 6.7.0 et supérieures d'Amazon.

aws emr-containers create-managed-endpoint \
‐‐type JUPYTER_ENTERPRISE_GATEWAY \
‐‐virtual‐cluster‐id 1234567890abcdef0xxxxxxxx \
‐‐name example-endpoint-name \
‐‐execution-role-arn arn:aws:iam::444455556666:role/JobExecutionRole \
‐‐release-label emr-6.9.0-latest \
‐‐configuration-overrides '{
    "applicationConfiguration": [{
        "classification": "spark-defaults",
        "properties": {
            "spark.driver.memory": "2G"
        }
    }],
    "monitoringConfiguration": {
        "cloudWatchMonitoringConfiguration": {
            "logGroupName": "log_group_name",
            "logStreamNamePrefix": "log_stream_prefix"
        },
        "persistentAppUI": "ENABLED",
        "s3MonitoringConfiguration": {
            "logUri": "s3://my_s3_log_location"
        }
    }
}'

Pour de plus amples informations, veuillez consulter Paramètres de création d'un point de terminaison interactif.

Création d'un point de terminaison interactif avec des paramètres spécifiés dans un JSON fichier

1. Créez un create-managed-endpoint-request.json fichier et spécifiez les paramètres requis pour votre point de terminaison, comme indiqué dans le JSON fichier suivant :

   {
       "name": "MY_TEST_ENDPOINT",
       "virtualClusterId": "MY_CLUSTER_ID",
       "type": "JUPYTER_ENTERPRISE_GATEWAY",
       "releaseLabel": "emr-6.9.0-latest",
       "executionRoleArn": "arn:aws:iam::444455556666:role/JobExecutionRole",
       "configurationOverrides":
       {
           "applicationConfiguration": 
           [
               {
                   "classification": "spark-defaults",
                   "properties":
                   {
                       "spark.driver.memory": "8G"
                   }
               }
           ],
           "monitoringConfiguration":
           {
               "persistentAppUI": "ENABLED",
               "cloudWatchMonitoringConfiguration":
               {
                   "logGroupName": "my_log_group",
                   "logStreamNamePrefix": "log_stream_prefix"
               },
               "s3MonitoringConfiguration":
               {
                   "logUri": "s3://my_s3_log_location"
               }
           }
       }
   }

2. Utilisez la commande create-managed-endpoint avec un chemin d'accès au fichier create-managed-endpoint-request.json stocké localement ou dans Amazon S3.

   aws emr-containers create-managed-endpoint \
   ‐‐cli-input-json  file://./create-managed-endpoint-request.json ‐‐region AWS-Region

Résultat de la création d'un point de terminaison interactif

Vous devriez voir le résultat suivant dans le terminal. Le résultat comprend le nom et l'identifiant de votre nouveau point de terminaison interactif :

{
    "id": "1234567890abcdef0",
    "name": "example-endpoint-name", 
    "arn": "arn:aws:emr-containers:us-west-2:111122223333:/virtualclusters/444455556666/endpoints/444455556666",
    "virtualClusterId": "111122223333xxxxxxxx"
}

L'exécution aws emr-containers create-managed-endpoint crée un certificat auto-signé qui permet HTTPS la communication entre EMR Studio et le serveur de point de terminaison interactif.

Si vous exécutez create-managed-endpoint et que vous n'avez pas rempli les conditions requises, Amazon EMR renvoie un message d'erreur indiquant les actions que vous devez effectuer pour continuer.

Paramètres de création d'un point de terminaison interactif

Paramètres requis pour les points de terminaison interactifs

Vous devez spécifier les paramètres suivants lorsque vous créez un point de terminaison interactif :

‐‐type

Utilisez JUPYTER_ENTERPRISE_GATEWAY. C'est le seul type pris en charge.

‐‐virtual-cluster-id

L'identifiant du cluster virtuel sur lequel vous vous êtes enregistré auprès d'EMRAmazonEKS.

‐‐name

Nom descriptif du point de terminaison interactif qui permet aux utilisateurs de EMR Studio de le sélectionner dans la liste déroulante.

‐‐execution-role-arn

Le nom de ressource Amazon (ARN) de votre rôle d'exécution de IAM tâches pour Amazon EMR EKS a été créé dans le cadre des prérequis.

‐‐release-label

L'étiquette de version de la EMR version d'Amazon à utiliser pour le point de terminaison. Par exemple, emr-6.9.0-latest. Amazon EMR on EKS prend en charge les points de terminaison interactifs avec les EMR versions 6.7.0 et supérieures d'Amazon.

Paramètres facultatifs pour les points de terminaison interactifs

En option, vous pouvez également spécifier les paramètres suivants lorsque vous créez un point de terminaison interactif :

‐‐configuration-overrides

Pour remplacer les configurations par défaut des applications, il faut fournir un objet de configuration. Vous pouvez utiliser une syntaxe abrégée pour fournir la configuration ou vous pouvez faire référence à l'objet de configuration dans un JSON fichier.

Les objets de configuration sont composés d'une classification, de propriétés et de configurations imbriquées en option. Les propriétés sont les paramètres que vous souhaitez remplacer dans ce fichier. Vous pouvez définir plusieurs classifications pour plusieurs applications dans un seul JSON objet. Les classifications de configuration disponibles varient selon Amazon au moment de EMR la EKS sortie. Pour obtenir la liste des classifications de configuration disponibles pour chaque version d'Amazon EMR surEKS, consultezAmazon à EMR propos des EKS versions. Outre les classifications de configuration répertoriées pour chaque version, les points de terminaison interactifs apportent la classification supplémentaire jeg-config. Pour de plus amples informations, veuillez consulter Options de configuration de Jupyter Enterprise Gateway (JEG).