Connect a un cluster Amazon EMR da SageMaker Studio o Studio Classic

Gli utenti di Studio possono connettersi ai cluster Amazon EMR in esecuzione da un JupyterLab notebook utilizzando le impostazioni predefinite. SageMaker Immagini di distribuzione Gli utenti di Studio Classic possono connettersi ai propri cluster da un notebook Studio Classic utilizzando uno qualsiasi dei kernel supportati.

Connect a un cluster Amazon EMR utilizzando l'interfaccia utente di Studio

Per connetterti al cluster utilizzando l'interfaccia utente Studio o Studio Classic, puoi avviare una connessione dall'elenco dei cluster a cui si accede o da un notebook in SageMaker Studio o Studio Classic. Elenca i cluster Amazon EMR da Studio o Studio Classic

Per connetterti a un particolare cluster dall'elenco dei cluster

1. Seleziona il nome del cluster nell'elenco. Si attiva il pulsante Collega a nuovo notebook.

2. Scegli Collega a nuovo notebook. Si apre la casella di selezione delle immagini e dei kernel.

3. Seleziona l'immagine e il kernel, quindi scegli Seleziona. Per un elenco delle immagini supportate, consulta Immagini e kernel supportati per la connessione a un cluster Amazon EMR da Studio o Studio Classic o fai riferimento a Utilizza la tua immagine.

4. Se il cluster selezionato non utilizza Kerberos, LDAP o l'autenticazione con ruolo di runtime, Studio o Studio Classic richiede di selezionare il tipo di credenziale. Scegli tra Autenticazione di base HTTP o Nessuna credenziale, quindi, se del caso, inserisci le tue credenziali. Un comando di connessione popola la prima cella del notebook e avvia la connessione con il cluster Amazon EMR.

   Una volta completata la connessione, un messaggio conferma la connessione e l'avvio dell'applicazione Spark.

In alternativa, è possibile connettersi a un cluster da un notebook.

1. Scegli Cluster nella parte superiore del notebook.

   Il cluster è visibile solo quando si utilizza un kernel da Immagini e kernel supportati per la connessione a un cluster Amazon EMR da Studio o Studio Classic o Utilizza la tua immagine. Se non riesci a visualizzare Cluster nella parte superiore del notebook, assicurati che l'amministratore abbia configurato la rilevabilità dei cluster e passa a un kernel supportato.

   Questo apre un elenco di cluster disponibili in uno stato. Running

2. Seleziona il cluster a cui connetterti, quindi scegli Connessione.

3. Se hai configurato i tuoi cluster Amazon EMR per supportare i ruoli IAM di runtime e l'amministratore ha preinstallato i tuoi ruoli in un JSON di configurazione dei ruoli di esecuzione, puoi selezionare il tuo ruolo di accesso Amazon EMR dal menu a discesa del ruolo di esecuzione di Amazon EMR. Se i ruoli non sono precaricati, Studio o Studio Classic utilizzano il ruolo di esecuzione di Studio o Studio Classic per impostazione predefinita. Per informazioni sull'utilizzo dei ruoli di runtime con Amazon EMR, consulta Connect a un cluster Amazon EMR da Studio Classic utilizzando ruoli IAM in runtime. Quando ti connetti a un cluster, Studio o Studio Classic aggiunge un blocco di codice a una cella attiva per stabilire la connessione.

   Altrimenti, se il cluster scelto non utilizza Kerberos, LDAP o l'autenticazione con ruolo di runtime, Studio o Studio Classic richiede di selezionare il tipo di credenziale. È possibile scegliere l'autenticazione di base HTTP o Nessuna credenziale.

4. Una cella attiva viene popolata ed eseguita. Questa cella contiene il comando di connessione per connettersi al proprio cluster Amazon EMR.

   Una volta completata la connessione, un messaggio conferma la connessione e l'avvio dell'applicazione Spark.

Connettiti a un cluster Amazon EMR utilizzando un comando di connessione

Per stabilire una connessione a un cluster Amazon EMR, puoi eseguire comandi di connessione all'interno di una cella notebook.

Quando stabilisci la connessione, puoi autenticarti utilizzando Kerberos, Lightweight Directory Access Protocol (LDAP) o l'autenticazione del ruolo IAM in fase di esecuzione. Il metodo di autenticazione scelto dipende dalla configurazione del cluster.

Puoi fare riferimento a questo esempio Access Apache Livy utilizzando un Network Load Balancer su un cluster Amazon EMR abilitato a Kerberos per configurare un cluster Amazon EMR che utilizza l'autenticazione Kerberos. In alternativa, puoi esplorare i modelli di CloudFormation esempio che utilizzano l'autenticazione Kerberos o LDAP nel repository aws-samples/. sagemaker-studio-emr GitHub

Se l'amministratore ha abilitato l'accesso tra account diversi, puoi connetterti al tuo cluster Amazon EMR da un notebook Studio Classic, indipendentemente dal fatto che l'applicazione Studio Classic e il cluster risiedano AWS nello stesso account o in account diversi.

Per ciascuno dei seguenti tipi di autenticazione, usa il comando specificato per connetterti al cluster dal tuo notebook Studio o Studio Classic.

• Kerberos

  Aggiungi l'argomento --assumable-role-arn se hai bisogno di un accesso ad Amazon EMR multi-account. Aggiungi l'argomento --verify-certificate se ti connetti al cluster con HTTPS.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Kerberos --language python 
  [--assumable-role-arn EMR_access_role_ARN ] 
  [--verify-certificate /home/user/certificateKey.pem]

• LDAP

  Aggiungi l'argomento --assumable-role-arn se hai bisogno di un accesso ad Amazon EMR multi-account. Aggiungi l'argomento --verify-certificate se ti connetti al cluster con HTTPS.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Basic_Access --language python 
  [--assumable-role-arn EMR_access_role_ARN ]
  [--verify-certificate /home/user/certificateKey.pem]

• NoAuth

  Aggiungi l'argomento --assumable-role-arn se hai bisogno di un accesso ad Amazon EMR multi-account. Aggiungi l'argomento --verify-certificate se ti connetti al cluster con HTTPS.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type None --language python
  [--assumable-role-arn EMR_access_role_ARN ]
  [--verify-certificate /home/user/certificateKey.pem]

• Ruoli IAM di runtime

  Aggiungi l'argomento --assumable-role-arn se hai bisogno di un accesso ad Amazon EMR multi-account. Aggiungi l'argomento --verify-certificate se ti connetti al cluster con HTTPS.

  Per ulteriori informazioni sulla connessione a un cluster Amazon EMR utilizzando i ruoli IAM di runtime, consulta Connect a un cluster Amazon EMR da Studio Classic utilizzando ruoli IAM in runtime.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Basic_Access \
  --emr-execution-role-arn arn:aws:iam::studio_account_id:role/emr-execution-role-name
  [--assumable-role-arn EMR_access_role_ARN]
  [--verify-certificate /home/user/certificateKey.pem]

Connettiti a un cluster Amazon EMR tramite HTTPS

Se hai configurato il tuo cluster Amazon EMR con la crittografia di transito abilitata e il server Apache Livy per HTTPS e desideri che Studio o Studio Classic comunichino con Amazon EMR tramite HTTPS, devi configurare Studio o Studio Classic per accedere alla chiave del certificato.

Per i certificati autofirmati o firmati dall'autorità di certificazione (CA) locale, puoi farlo in due fasi:

1. scarica il file PEM del certificato nel file system locale utilizzando una delle seguenti opzioni:

   • Funzione di caricamento file integrata in Jupyter.

   • Una cella del notebook.

   • (Solo per utenti di Studio Classic) Uno script di configurazione del ciclo di vita (LCC).

     Per informazioni su come utilizzare uno script LCC, consulta Personalizzare un'istanza di Notebook utilizzando uno script di configurazione del ciclo di vita

2. Abilita la convalida del certificato fornendo il percorso al certificato nell'argomento --verify-certificate del comando di connessione.

   %sm_analytics emr connect --cluster-id cluster_id \
   --verify-certificate /home/user/certificateKey.pem ... 

Per i certificati pubblici emessi da CA, imposta la convalida del certificato configurando il parametro --verify-certificate su true.

In alternativa, è possibile disabilitare la convalida del certificato impostando il parametro --verify-certificate su false.

Puoi trovare l'elenco dei comandi di connessione disponibili a un cluster Amazon EMR in Connettiti a un cluster Amazon EMR utilizzando un comando di connessione.