Conecte-se a um cluster do Amazon EMR a partir do Studio Classic SageMaker

Esta seção explica como você pode se conectar a um cluster do Amazon EMR a partir de um notebook Studio Classic ao usar qualquer um dos kernels compatíveis.

Conecte-se a um cluster do Amazon EMR automaticamente

Para se conectar ao seu cluster usando a interface do usuário do Studio Classic, você pode iniciar uma conexão a partir da lista de clusters acessados ou de um notebook no SageMaker Studio Classic. Descubra os clusters do Amazon EMR a partir do Studio Classic SageMaker

Para se conectar a um determinado cluster a partir da sua lista de clusters

1. Escolha o nome do cluster na sua lista. Isso ativa o botão Anexar ao novo caderno.

2. Escolha Anexar ao novo caderno. Isso abre a caixa de seleção de Imagens e kernels.

3. Selecione sua imagem e kernel e, em seguida, escolha Selecionar. Para obter uma lista de imagens compatíveis, consulte Imagens e kernels compatíveis para se conectar a um cluster do Amazon EMR a partir do Studio Classic SageMaker ou Traga sua própria imagem.

4. Se o cluster selecionado não usar Kerberos, LDAP ou autenticação de função de tempo de execução, o Studio Classic solicitará que você selecione o tipo de credencial. Escolha entre Autenticação básica HTTP ou Sem credenciais e, em seguida, insira suas credenciais, se aplicável. Um comando de conexão preenche a primeira célula do caderno e inicia a conexão com o cluster do Amazon EMR.

   Quando a conexão for bem-sucedida, uma mensagem confirmará a conexão e o início do aplicativo do Spark.

Como alternativa, você pode se conectar a um cluster de um caderno.

1. Escolha Cluster na parte superior do caderno.

   O cluster só é visível quando você usa um kernel de Imagens e kernels compatíveis para se conectar a um cluster do Amazon EMR a partir do Studio Classic SageMaker ou Traga sua própria imagem. Se você não conseguir ver o Cluster na parte superior do caderno, verifique se o administrador configurou a capacidade de descoberta dos clusters e mude para um kernel compatível.

   

   Isso abre uma lista de clusters disponíveis.

2. Selecione o cluster para o qual deseja se conectar e escolha Conectar.

3. Se você configurou os clusters do Amazon EMR para ficar compatível com as funções do IAM do tempo de execução e seu administrador pré-carregou seus perfis em um JSON de configuração de papel de execução, você pode selecionar seu perfil de acesso ao Amazon EMR no menu suspenso no perfil de execução do Amazon EMR. Se suas funções não estiverem pré-carregadas, o Studio Classic usa sua função de execução do Studio Classic por padrão. Para obter informações sobre o uso das funções de tempo de execução com o Amazon EMR, consulte Conecte-se a um cluster do Amazon EMR a partir do Studio Classic usando funções do IAM em tempo de execução. Quando você se conecta a um cluster, o Studio Classic adiciona um bloco de código a uma célula ativa para estabelecer a conexão.

   Caso contrário, se o cluster escolhido não usar Kerberos, LDAP ou autenticação de função de tempo de execução, o Studio Classic solicitará que você selecione o tipo de credencial. Você pode escolher a autenticação básica HTTP ou Sem credencial.

4. Uma célula ativa é preenchida e executada. Essa célula contém o comando de conexão para se conectar ao seu cluster do Amazon EMR.

   Quando a conexão for bem-sucedida, uma mensagem confirmará a conexão e o início do aplicativo do Spark.

Insira o comando de conexão para um cluster do Amazon EMR manualmente

Você pode se conectar manualmente ao seu cluster do Amazon EMR a partir de um notebook Studio Classic, independentemente de seu aplicativo e cluster do Studio Classic residirem ou não na mesma AWS conta.

Para cada um dos seguintes tipos de autenticação, use o comando especificado para se conectar manualmente ao seu cluster a partir do seu notebook Studio Classic.

• Kerberos

  Anexe o argumento --assumable-role-arn se você precisar de acesso entre contas ao Amazon EMR. Anexe o argumento --verify-certificate se você se conectar ao seu cluster com HTTPS.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Kerberos --language python 
  [--assumable-role-arn EMR_access_role_ARN ] 
  [--verify-certificate /home/user/certificateKey.pem]

• LDAP

  Anexe o argumento --assumable-role-arn se você precisar de acesso entre contas ao Amazon EMR. Anexe o argumento --verify-certificate se você se conectar ao seu cluster com HTTPS.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Basic_Access --language python 
  [--assumable-role-arn EMR_access_role_ARN ]
  [--verify-certificate /home/user/certificateKey.pem]

• NoAuth

  Anexe o argumento --assumable-role-arn se você precisar de acesso entre contas ao Amazon EMR. Anexe o argumento --verify-certificate se você se conectar ao seu cluster com HTTPS.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type None --language python
  [--assumable-role-arn EMR_access_role_ARN ]
  [--verify-certificate /home/user/certificateKey.pem]

• Funções do IAM de tempo de execução

  Anexe o argumento --assumable-role-arn se você precisar de acesso entre contas ao Amazon EMR. Anexe o argumento --verify-certificate se você se conectar ao seu cluster com HTTPS.

  Para obter mais informações sobre a conexão com um cluster do Amazon EMR usando os perfis do IAM no tempo de execução, consulte Conecte-se a um cluster do Amazon EMR a partir do Studio Classic usando funções do IAM em tempo de execução.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Basic_Access \
  --emr-execution-role-arn arn:aws:iam::studio_account_id:role/emr-execution-role-name
  [--assumable-role-arn EMR_access_role_ARN]
  [--verify-certificate /home/user/certificateKey.pem]

Conecte-se a um cluster do Amazon EMR por HTTPS

Se você configurou seu cluster do Amazon EMR com criptografia de trânsito habilitada e servidor Apache Livy para HTTPS e gostaria que o Studio Classic se comunicasse com o Amazon EMR usando HTTPS, você precisa configurar o Studio Classic para acessar sua chave de certificado.

Para certificados autoassinados ou assinados pela Autoridade de Certificação (Certificate Authority, CA) local, você pode fazer isso em duas etapas:

1. Faça download do arquivo PEM do seu certificado para seu sistema de arquivos local usando uma das seguintes opções:

   • Função de upload de arquivos integrada do Jupyter.

   • Uma célula de cadernos.

   • Um script de configuração do ciclo de vida (Lifecycle configuration, LCC)

     Para obter informações sobre como usar um script de LCC, consulte Personalizar uma instância de cadernos usando um script de configuração de ciclo de vida

2. Ative a validação do certificado fornecendo o caminho para seu certificado no argumento --verify-certificate do seu comando de conexão.

   %sm_analytics emr connect --cluster-id cluster_id \
       --verify-certificate /home/user/certificateKey.pem ... 

Para certificados públicos emitidos pela CA, defina a validação do certificado definindo o parâmetro --verify-certificate como true.

Como alternativa, você pode desativar a validação do certificado definindo o parâmetro --verify-certificate como false.

Você pode encontrar a lista de comandos de conexão disponíveis para um cluster do Amazon EMR em Insira o comando de conexão para um cluster do Amazon EMR manualmente.