Creazione di un endpoint interattivo per il cluster virtuale

Questa pagina descrive come creare un endpoint interattivo utilizzando l'Interfaccia della linea di comando AWS (AWS CLI).

Creazione di un endpoint interattivo con il comando create-managed-endpoint

Specifica i parametri nel comando create-managed-endpoint nel modo seguente. Amazon EMR su EKS supporta la creazione di endpoint interattivi con i rilasci 6.7.0 e successivi di Amazon EMR.

aws emr-containers create-managed-endpoint \
‐‐type JUPYTER_ENTERPRISE_GATEWAY \
‐‐virtual‐cluster‐id 1234567890abcdef0xxxxxxxx \
‐‐name example-endpoint-name \
‐‐execution-role-arn arn:aws:iam::444455556666:role/JobExecutionRole \
‐‐release-label emr-6.9.0-latest \
‐‐configuration-overrides '{
    "applicationConfiguration": [{
        "classification": "spark-defaults",
        "properties": {
            "spark.driver.memory": "2G"
        }
    }],
    "monitoringConfiguration": {
        "cloudWatchMonitoringConfiguration": {
            "logGroupName": "log_group_name",
            "logStreamNamePrefix": "log_stream_prefix"
        },
        "persistentAppUI": "ENABLED",
        "s3MonitoringConfiguration": {
            "logUri": "s3://my_s3_log_location"
        }
    }
}'

Per ulteriori informazioni, consulta Parametri per la creazione di un endpoint interattivo.

Creazione di un endpoint interattivo con parametri specificati in un file JSON

1. Crea un file create-managed-endpoint-request.json e specifica i parametri richiesti per l'endpoint, come illustrato nel file JSON seguente:

   {
       "name": "MY_TEST_ENDPOINT",
       "virtualClusterId": "MY_CLUSTER_ID",
       "type": "JUPYTER_ENTERPRISE_GATEWAY",
       "releaseLabel": "emr-6.9.0-latest",
       "executionRoleArn": "arn:aws:iam::444455556666:role/JobExecutionRole",
       "configurationOverrides":
       {
           "applicationConfiguration": 
           [
               {
                   "classification": "spark-defaults",
                   "properties":
                   {
                       "spark.driver.memory": "8G"
                   }
               }
           ],
           "monitoringConfiguration":
           {
               "persistentAppUI": "ENABLED",
               "cloudWatchMonitoringConfiguration":
               {
                   "logGroupName": "my_log_group",
                   "logStreamNamePrefix": "log_stream_prefix"
               },
               "s3MonitoringConfiguration":
               {
                   "logUri": "s3://my_s3_log_location"
               }
           }
       }
   }

2. Utilizza il comando create-managed-endpoint con un percorso verso il file create-managed-endpoint-request.json archiviato localmente o in Amazon S3.

   aws emr-containers create-managed-endpoint \
   ‐‐cli-input-json  file://./create-managed-endpoint-request.json ‐‐region AWS-Region

Output della creazione di un endpoint interattivo

Dovresti visualizzare il seguente output nel terminale. L'output include il nome e l'identificatore del nuovo endpoint interattivo:

{
    "id": "1234567890abcdef0",
    "name": "example-endpoint-name", 
    "arn": "arn:aws:emr-containers:us-west-2:111122223333:/virtualclusters/444455556666/endpoints/444455556666",
    "virtualClusterId": "111122223333xxxxxxxx"
}

L'esecuzione di aws emr-containers create-managed-endpoint crea un certificato autofirmato che consente la comunicazione HTTPS tra EMR Studio e il server dell'endpoint interattivo.

Se esegui create-managed-endpoint e non hai completato i prerequisiti, Amazon EMR restituisce un messaggio di errore con le azioni da intraprendere per continuare.

Parametri per la creazione di un endpoint interattivo

Parametri obbligatori per gli endpoint interattivi

Quando crei un endpoint interattivo, devi specificare i parametri seguenti:

‐‐type

Utilizza JUPYTER_ENTERPRISE_GATEWAY. Questo è l'unico tipo supportato.

‐‐virtual-cluster-id

L'identificatore del cluster virtuale registrato con Amazon EMR su EKS.

‐‐name

Un nome descrittivo per l'endpoint interattivo che aiuta gli utenti di EMR Studio a selezionarlo da un elenco a discesa.

‐‐execution-role-arn

Il nome della risorsa Amazon (ARN) del ruolo IAM di esecuzione di processo IAM per Amazon EMR su EKS che è stato creato nell'ambito dei prerequisiti.

‐‐release-label

L'etichetta di rilascio del rilascio di Amazon EMR da utilizzare per l'endpoint. Ad esempio, emr-6.9.0-latest. Amazon EMR su EKS supporta gli endpoint interattivi con i rilasci 6.7.0 e successivi di Amazon EMR.

Parametri opzionali per gli endpoint interattivi

Facoltativamente, quando crei un endpoint interattivo puoi anche specificare i parametri seguenti:

‐‐configuration-overrides

Per ignorare le configurazioni predefinite per le applicazioni, fornisci un oggetto di configurazione. Puoi utilizzare una sintassi abbreviata per fornire la configurazione oppure fare riferimento all'oggetto di configurazione in un file JSON.

Gli oggetti di configurazione sono composti da una classificazione, proprietà e configurazioni nidificate opzionali. Le proprietà sono costituite dalle impostazioni che desideri ignorare in un dato file. Puoi specificare diverse classificazioni per più applicazioni in un singolo oggetto JSON. Le classificazioni di configurazione disponibili variano a seconda della versione di Amazon EMR su EKS. Per un elenco delle classificazioni di configurazione disponibili per ciascuna versione di Amazon EMR, consulta Rilasci di Amazon EMR su EKS. Oltre alle classificazioni di configurazione elencate per ciascuna versione, gli endpoint interattivi includono la classificazione aggiuntiva jeg-config. Per ulteriori informazioni, consulta Opzioni di configurazione di Jupyter Enterprise Gateway (JEG).