Creazione di un endpoint interattivo per il cluster virtuale

Questo argomento descrive un paio di modi per creare un endpoint interattivo utilizzando l'interfaccia a riga di AWS comando (AWS CLI) e include dettagli sui parametri di configurazione disponibili.

Creazione di un endpoint interattivo con il comando create-managed-endpoint

Specifica i parametri nel comando create-managed-endpoint nel modo seguente. Amazon EMR on EKS supporta la creazione di endpoint interattivi con le EMR versioni di Amazon 6.7.0 e successive.

aws emr-containers create-managed-endpoint \
‐‐type JUPYTER_ENTERPRISE_GATEWAY \
‐‐virtual‐cluster‐id 1234567890abcdef0xxxxxxxx \
‐‐name example-endpoint-name \
‐‐execution-role-arn arn:aws:iam::444455556666:role/JobExecutionRole \
‐‐release-label emr-6.9.0-latest \
‐‐configuration-overrides '{
    "applicationConfiguration": [{
        "classification": "spark-defaults",
        "properties": {
            "spark.driver.memory": "2G"
        }
    }],
    "monitoringConfiguration": {
        "cloudWatchMonitoringConfiguration": {
            "logGroupName": "log_group_name",
            "logStreamNamePrefix": "log_stream_prefix"
        },
        "persistentAppUI": "ENABLED",
        "s3MonitoringConfiguration": {
            "logUri": "s3://my_s3_log_location"
        }
    }
}'

Per ulteriori informazioni, consulta Parametri per la creazione di un endpoint interattivo.

Crea un endpoint interattivo con parametri specificati in un file JSON

1. Crea un create-managed-endpoint-request.json file e specifica i parametri richiesti per il tuo endpoint, come mostrato nel file seguente: JSON

   {
       "name": "MY_TEST_ENDPOINT",
       "virtualClusterId": "MY_CLUSTER_ID",
       "type": "JUPYTER_ENTERPRISE_GATEWAY",
       "releaseLabel": "emr-6.9.0-latest",
       "executionRoleArn": "arn:aws:iam::444455556666:role/JobExecutionRole",
       "configurationOverrides":
       {
           "applicationConfiguration": 
           [
               {
                   "classification": "spark-defaults",
                   "properties":
                   {
                       "spark.driver.memory": "8G"
                   }
               }
           ],
           "monitoringConfiguration":
           {
               "persistentAppUI": "ENABLED",
               "cloudWatchMonitoringConfiguration":
               {
                   "logGroupName": "my_log_group",
                   "logStreamNamePrefix": "log_stream_prefix"
               },
               "s3MonitoringConfiguration":
               {
                   "logUri": "s3://my_s3_log_location"
               }
           }
       }
   }

2. Utilizza il comando create-managed-endpoint con un percorso verso il file create-managed-endpoint-request.json archiviato localmente o in Amazon S3.

   aws emr-containers create-managed-endpoint \
   ‐‐cli-input-json  file://./create-managed-endpoint-request.json ‐‐region AWS-Region

Output della creazione di un endpoint interattivo

Dovresti visualizzare il seguente output nel terminale. L'output include il nome e l'identificatore del nuovo endpoint interattivo:

{
    "id": "1234567890abcdef0",
    "name": "example-endpoint-name", 
    "arn": "arn:aws:emr-containers:us-west-2:111122223333:/virtualclusters/444455556666/endpoints/444455556666",
    "virtualClusterId": "111122223333xxxxxxxx"
}

Running aws emr-containers create-managed-endpoint crea un certificato autofirmato che consente HTTPS la comunicazione tra EMR Studio e il server endpoint interattivo.

Se esegui create-managed-endpoint e non hai completato i prerequisiti, Amazon EMR restituisce un messaggio di errore con le azioni da intraprendere per continuare.

Parametri per la creazione di un endpoint interattivo

Parametri obbligatori per gli endpoint interattivi

Quando crei un endpoint interattivo, devi specificare i parametri seguenti:

‐‐type

Utilizza JUPYTER_ENTERPRISE_GATEWAY. Questo è l'unico tipo supportato.

‐‐virtual-cluster-id

L'identificatore del cluster virtuale su cui ti sei registrato con EMR AmazonEKS.

‐‐name

Un nome descrittivo per l'endpoint interattivo che aiuta gli utenti di EMR Studio a selezionarlo dall'elenco a discesa.

‐‐execution-role-arn

L'Amazon Resource Name (ARN) del tuo ruolo di esecuzione del IAM lavoro per Amazon EMR su EKS che è stato creato come parte dei prerequisiti.

‐‐release-label

L'etichetta di rilascio della EMR versione di Amazon da utilizzare per l'endpoint. Ad esempio emr-6.9.0-latest. Amazon EMR on EKS supporta gli endpoint interattivi con le EMR versioni di Amazon 6.7.0 e successive.

Parametri opzionali per gli endpoint interattivi

Facoltativamente, quando crei un endpoint interattivo puoi anche specificare i parametri seguenti:

‐‐configuration-overrides

Per ignorare le configurazioni predefinite per le applicazioni, fornisci un oggetto di configurazione. Puoi utilizzare una sintassi abbreviata per fornire la configurazione oppure puoi fare riferimento all'oggetto di configurazione in un file. JSON

Gli oggetti di configurazione sono composti da una classificazione, proprietà e configurazioni nidificate opzionali. Le proprietà sono costituite dalle impostazioni che desideri ignorare in un dato file. È possibile specificare più classificazioni per più applicazioni in un unico oggetto. JSON Le classificazioni di configurazione disponibili variano a seconda di Amazon al momento EMR del EKS rilascio. Per un elenco delle classificazioni di configurazione disponibili per ogni versione di Amazon EMR suEKS, consultaAmazon EMR sui EKS rilasci. Oltre alle classificazioni di configurazione elencate per ciascuna versione, gli endpoint interattivi includono la classificazione aggiuntiva jeg-config. Per ulteriori informazioni, consulta Opzioni di configurazione di Jupyter Enterprise Gateway () JEG.