Guia do usuário

Esta seção aborda como os cientistas e engenheiros de dados podem iniciar, descobrir, conectar-se ou encerrar um cluster do Amazon EMR no Studio ou Studio Classic.

Antes que os usuários possam listar ou iniciar clusters, os administradores devem ter definido as configurações necessárias no ambiente do Studio. Para obter informações sobre como os administradores podem configurar um ambiente do Studio para permitir o provisionamento automático e a listagem de clusters do Amazon EMR, consulte Guia de administrador.

Tópicos

• Imagens e kernels compatíveis para se conectar a um cluster do Amazon EMR no Studio ou Studio Classic

• Traga sua própria imagem

• Inicializar um cluster do Amazon EMR no Studio ou Studio Classic

• Listar clusters do Amazon EMR no Studio ou no Studio Classic

• Conecte-se a um cluster do Amazon EMR a partir do SageMaker Studio ou do Studio Classic

• Encerrar um cluster do Amazon EMR no Studio ou Studio Classic

• Acesse a interface de usuário do Spark no Studio ou no Studio Classic

Imagens e kernels compatíveis para se conectar a um cluster do Amazon EMR no Studio ou Studio Classic

As imagens e os kernels a seguir vêm com sagemaker-studio-analytics-extensiona JupyterLab extensão que se conecta a um cluster remoto do Spark (Amazon EMR) por meio da biblioteca usando o SparkMagicApache Livy.

• Para usuários do Studio: SageMaker Distribution é um ambiente Docker para ciência de dados usado como imagem padrão das instâncias do JupyterLab notebook. Todas as versões do SageMaker AI Distribution vêm sagemaker-studio-analytics-extension pré-instaladas.

• Para usuários do Studio Classic: as imagens a seguir vêm pré-instaladas com sagemaker-studio-analytics-extension:

  • DataScience — Kernel Python 3

  • DataScience 2.0 — Kernel do Python 3

  • DataScience 3.0 — Kernel do Python 3

  • SparkAnalytics 1.0 — SparkMagic e PySpark grãos

  • SparkAnalytics 2.0 — SparkMagic e PySpark grãos

  • SparkMagic — SparkMagic e PySpark grãos

  • PyTorch 1.8 — Núcleos do Python 3

  • TensorFlow 2.6 — Kernel do Python 3

  • TensorFlow 2.11 — Kernel do Python 3

Para se conectar aos clusters do Amazon EMR usando outra imagem integrada ou sua própria imagem, siga as instruções em Traga sua própria imagem.

Traga sua própria imagem

Para trazer sua própria imagem no Studio ou no Studio Classic e permitir que seus notebooks se conectem aos clusters do Amazon EMR, instale a sagemaker-studio-analytics-extensionseguinte extensão em seu kernel. Ele suporta a conexão de notebooks SageMaker Studio ou Studio Classic a clusters Spark (Amazon EMR) por meio da biblioteca. SparkMagic

pip install sparkmagic
pip install sagemaker-studio-sparkmagic-lib
pip install sagemaker-studio-analytics-extension

Além disso, para se conectar ao Amazon EMR com a autenticação Kerberos, você deve instalar o cliente kinit. Dependendo do seu sistema operacional, o comando para instalar o cliente kinit pode variar. Para trazer uma imagem do Ubuntu (baseada no Debian), use o comando apt-get install -y -qq krb5-user.

Para obter mais informações sobre como trazer sua própria imagem no SageMaker Studio ou no Studio Classic, consulte Traga sua própria imagem de SageMaker IA.