Conéctese a un clúster de Amazon EMR desde Studio Classic SageMaker

En esta sección se explica cómo puede conectarse a un clúster de Amazon EMR desde un bloc de notas Studio Classic cuando utiliza cualquiera de los núcleos compatibles.

Conectar automáticamente a un clúster de Amazon EMR.

Para conectarse a su clúster mediante la interfaz de usuario de Studio Classic, puede iniciar una conexión desde la lista de clústeres a los que se accede o desde una libreta de SageMaker Studio Classic. Descubra los clústeres de Amazon EMR de Studio Classic SageMaker

Para conectarse a un clúster concreto de su lista de clústeres

1. Elija el nombre del clúster en la lista. Esto activa el botón Adjuntar a una nueva libreta.

2. Seleccione Attach to new notebook )Asociar a un nuevo cuaderno). Esto abre el cuadro de selección de imágenes y kernels.

3. Selecciona la imagen y el kernel y, a continuación, elija Señlect (Seleccionar). Para obtener una lista de imágenes compatibles, consulte Imágenes y núcleos compatibles para conectarse a un clúster de Amazon EMR desde Studio Classic SageMaker o Traiga su propia imagen.

4. Si el clúster que selecciona no utiliza la autenticación de roles Kerberos, LDAP o en tiempo de ejecución, Studio Classic le pedirá que seleccione el tipo de credencial. Elija entre Http basic authentication (Autenticación básica HTTP) o No credentials (Sin credenciales) e introduzca sus credenciales, si corresponde. Un comando de conexión rellena la primera celda del portátil e inicia la conexión con el clúster de Amazon EMR.

   Cuando la conexión se realice correctamente, un mensaje confirmará la conexión y el inicio de la aplicación Spark.

Como alternativa, puede conectarse a un clúster desde un ordenador portátil.

1. Seleccione Cluster (Clúster) en la parte superior del cuaderno.

   Cluster (Clúster) solo está visible cuando se utiliza un kernel desde Imágenes y núcleos compatibles para conectarse a un clúster de Amazon EMR desde Studio Classic SageMaker o desde Traiga su propia imagen. Si no puede ver el clúster en la parte superior del bloc de notas, asegúrese de que el administrador haya configurado la capacidad de detección de los clústeres y cambie a un núcleo compatible.

   

   Esto abre una lista de clústeres disponibles.

2. Seleccione el clúster al que desea conectarse y, a continuación, elija Connect (Conectar).

3. Si ha configurado sus clústeres de Amazon EMR para que admitan funciones de IAM en tiempo de ejecución y el administrador ha precargado las funciones en un JSON de configuración de funciones de ejecución, puede seleccionar su función de acceso a Amazon EMR en el menú desplegable de Amazon EMR execution role (Rol de ejecuión de Amazon EMR). Si sus funciones no están precargadas, Studio Classic usa su función de ejecución de Studio Classic de forma predeterminada. Para obtener información sobre el uso de roles de tiempo de ejecución con Amazon EMR, consulte Conéctese a un clúster de Amazon EMR desde Studio Classic mediante funciones de IAM en tiempo de ejecución. Cuando te conectas a un clúster, Studio Classic añade un bloque de código a una celda activa para establecer la conexión.

   De lo contrario, si el clúster que elija no utiliza la autenticación de roles Kerberos, LDAP o en tiempo de ejecución, Studio Classic le pedirá que seleccione el tipo de credencial. Puede elegir entre HTTP basic authentication (Autenticación básica HTTP) o No credential (Sin credenciales).

4. Se llena y se ejecuta una celda activa. Esta celda contiene el comando de conexión para conectarse a su clúster de Amazon EMR.

   Cuando la conexión se realice correctamente, aparecerá un mensaje confirmando la conexión y el inicio de la aplicación Spark.

Introduzca manualmente el comando de conexión a un clúster de Amazon EMR

Puede conectarse manualmente a su clúster de Amazon EMR desde una libreta Studio Classic, independientemente de que la aplicación y el clúster de Studio Classic residan en la misma AWS cuenta o no.

Para cada uno de los siguientes tipos de autenticación, usa el comando especificado para conectarte manualmente al clúster desde tu bloc de notas Studio Classic.

• Kerberos

  Añada el argumento --assumable-role-arn si necesita acceso entre cuentas a Amazon EMR. Añada el argumento --verify-certificate si se conecta a su clúster mediante HTTPS.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Kerberos --language python 
  [--assumable-role-arn EMR_access_role_ARN ] 
  [--verify-certificate /home/user/certificateKey.pem]

• LDAP

  Añada el argumento --assumable-role-arn si necesita acceso entre cuentas a Amazon EMR. Añada el argumento --verify-certificate si se conecta a su clúster mediante HTTPS.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Basic_Access --language python 
  [--assumable-role-arn EMR_access_role_ARN ]
  [--verify-certificate /home/user/certificateKey.pem]

• NoAuth

  Añada el argumento --assumable-role-arn si necesita acceso entre cuentas a Amazon EMR. Añada el argumento --verify-certificate si se conecta a su clúster mediante HTTPS.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type None --language python
  [--assumable-role-arn EMR_access_role_ARN ]
  [--verify-certificate /home/user/certificateKey.pem]

• Roles de IAM en tiempo de ejecución

  Añada el argumento --assumable-role-arn si necesita acceso entre cuentas a Amazon EMR. Añada el argumento --verify-certificate si se conecta a su clúster mediante HTTPS.

  Para obtener más información acerca de la conexión a un clúster de Amazon EMR utilizando las funciones de IAM en tiempo de ejecución, consulte Conéctese a un clúster de Amazon EMR desde Studio Classic mediante funciones de IAM en tiempo de ejecución.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Basic_Access \
  --emr-execution-role-arn arn:aws:iam::studio_account_id:role/emr-execution-role-name
  [--assumable-role-arn EMR_access_role_ARN]
  [--verify-certificate /home/user/certificateKey.pem]

Conectar a un clúster de Amazon EMR a través de HTTPS

Si ha configurado su clúster de Amazon EMR con el cifrado de tránsito habilitado y el servidor Apache Livy para HTTPS y desea que Studio Classic se comunique con Amazon EMR mediante HTTPS, debe configurar Studio Classic para acceder a su clave de certificado.

En el caso de los certificados autofirmados o firmados por una autoridad de certificación (CA) local, puede hacerlo en dos pasos:

1. Descargue el archivo PEM del certificado en el sistema de archivos local con una de las siguientes opciones:

   • Función de carga de archivos integrada en Jupyter.

   • Una celda de cuaderno.

   • Un script de configuración del ciclo de vida (LCC).

     Para obtener información sobre cómo utilizar un script de LCC, consulte Personalización de una instancia de cuaderno mediante un script de configuración del ciclo de vida

2. Habilite la validación del certificado proporcionando la ruta al certificado en el argumento --verify-certificate del comando de conexión.

   %sm_analytics emr connect --cluster-id cluster_id \
       --verify-certificate /home/user/certificateKey.pem ... 

Para los certificados públicos emitidos por una CA, defina la validación del certificado configurando el parámetro --verify-certificate como true.

Como alternativa, puede deshabilitar la validación del certificado configurando el parámetro --verify-certificate como false.

Puede encontrar la lista de comandos de conexión disponibles a un clúster de Amazon EMR en Introduzca manualmente el comando de conexión a un clúster de Amazon EMR.