Usa i cluster Amazon EMR dai notebook Studio Classic - Amazon SageMaker

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Usa i cluster Amazon EMR dai notebook Studio Classic

In questa sezione, scopri come scoprire, connettersi o terminare un cluster Amazon EMR SageMaker dai notebook Studio Classic.

Quando ti connetti al tuo cluster Amazon EMR da SageMaker Studio Classic, puoi autenticarti nel cluster con Kerberos, Lightweight Directory Access Protocol (LDAP) o utilizzare l'autenticazione del ruolo IAM in fase di esecuzione. Il metodo di autenticazione dipende dalla configurazione del cluster. Puoi fare riferimento a questo esempio Accesso ad Apache Livy utilizzando un Network Load Balancer su un cluster Amazon EMR abilitato a Kerberos per configurare un cluster Amazon EMR che utilizza Kerberos. In alternativa, puoi guardare i modelli di CloudFormation esempio che utilizzano Kerberos o LDAP nel repository aws-samples/sagemaker-studio-emr. GitHub

Trova l'elenco dei comandi disponibili di connessione a un cluster Amazon EMR per metodo di autenticazione in Inserisci manualmente il comando di connessione a un cluster Amazon EMR per connetterti al cluster Amazon EMR.

Immagini e kernel supportati per la connessione a un cluster SageMaker Amazon EMR da Studio Classic

SageMaker Studio Classic fornisce supporto integrato per la connessione ai cluster Amazon EMR nelle seguenti immagini e kernel:

  • DataScience — Kernel Python 3

  • DataScience 2.0 — Kernel Python 3

  • DataScience 3.0 — Kernel Python 3

  • SparkAnalytics 1.0 — SparkMagic e kernel PySpark

  • SparkAnalytics 2.0 — SparkMagic e PySpark kernel

  • SparkMagic — SparkMagic e PySpark kernel

  • PyTorch 1.8 — Kernel Python 3

  • TensorFlow 2.6 — Kernel Python 3

  • TensorFlow 2.11 — Kernel Python 3

Queste immagini e kernel vengono forniti con sagemaker-studio-analytics-extension, un'estensione per notebook che consente la connessione a un cluster Spark (Amazon EMR) remoto tramite la libreria utilizzando Apache Livy. SparkMagic

Per connetterti ai cluster Amazon EMR utilizzando un'altra immagine integrata o la tua immagine, segui le istruzioni riportate in Utilizza la tua immagine.

Utilizza la tua immagine

Per portare la tua immagine in SageMaker Studio Classic e consentire ai tuoi notebook di connettersi ai cluster Amazon EMR, installa la seguente estensione sagemaker-studio-analytics-extension nel tuo kernel. Supporta la connessione di notebook SageMaker Studio Classic ai cluster Spark (Amazon EMR) tramite la libreria. SparkMagic

pip install sparkmagic pip install sagemaker-studio-sparkmagic-lib pip install sagemaker-studio-analytics-extension

Inoltre, per connetterti ad Amazon EMR con l'autenticazione di Kerberos, è necessario installare il client kinit. Il comando per installare il client kinit può variare a seconda del sistema operativo. Per utilizzare un'immagine di Ubuntu (basata su Debian), usa il comando apt-get install -y -qq krb5-user.

Per ulteriori informazioni su come portare la tua immagine in SageMaker Studio Classic, consulta Bring your own image. SageMaker