Habilitación de la interfaz de usuario web de Apache Spark para trabajos de AWS Glue

Puede utilizar la interfaz de usuario web de Apache Spark para monitorizar y depurar trabajos de ETL AWS Glue que se ejecutan en el sistema de trabajos AWS Glue. Puede configurar la interfaz de usuario de Spark mediante la consola de AWS Glue o la AWS Command Line Interface (AWS CLI).

Configuración de la interfaz de usuario de Spark (consola)

Siga estos pasos para configurar la interfaz de usuario de Spark mediante la AWS Management Console.

Crear un trabajo con la interfaz de usuario de Spark habilitada

1. Inicie sesión en AWS Management Console y abra la consola de AWS Glue en https://console.aws.amazon.com/glue/.

2. En el panel de navegación, seleccione Jobs (Trabajos).

3. Seleccione Add job (Agregar trabajo).

4. En Configure the job properties (Configurar propiedades del trabajo), elija Monitoring options (Opciones de monitorización).

5. En la pestaña Spark UI (IU de Spark), elija Enable (Habilitar).

6. Especifique una ruta de Amazon S3 para almacenar los registros de eventos de Spark para el trabajo.

Editar un trabajo existente para habilitar la interfaz de usuario de Spark

1. Abra la consola de AWS Glue en https://console.aws.amazon.com/glue/.

2. En el panel de navegación, seleccione Jobs (Trabajos).

3. Elija un trabajo existente en la lista de trabajos.

4. Elija Action (Acción) y, a continuación, seleccione Edit job (Editar trabajo).

5. Abra las Monitoring options (Opciones de monitorización).

6. En la pestaña Spark UI (IU de Spark), elija Enable (Habilitar).

7. Ingrese una ruta de Amazon S3 para almacenar los registros de eventos de Spark para el trabajo.

Configurar las preferencias de usuario para nuevos trabajos para habilitar la interfaz de usuario de Spark

1. Abra la consola de AWS Glue en https://console.aws.amazon.com/glue/.

2. En la esquina superior derecha, seleccione User preferences (Preferencias del usuario).

3. Abra las Monitoring options (Opciones de monitorización).

4. En la pestaña Spark UI (IU de Spark), elija Enable (Habilitar).

5. Especifique una ruta de Amazon S3 para almacenar los registros de eventos de Spark para el trabajo.

Para configurar las opciones de ejecución de trabajo para habilitar la interfaz de usuario de Spark

1. Abra la consola de AWS Glue en https://console.aws.amazon.com/glue/.

2. En el panel de navegación, seleccione Jobs (Trabajos).

3. Elija un trabajo existente en las listas de trabajos.

4. Elija Scripts y Edit Job. Vaya al panel de código.

5. Elija Run job (Ejecutar trabajo).

6. Abra las Monitoring options (Opciones de monitorización).

7. En la pestaña Spark UI (IU de Spark), elija Enable (Habilitar).

8. Especifique una ruta de Amazon S3 para almacenar los registros de eventos de Spark para el trabajo.

Configuración de la interfaz de usuario de Spark (AWS CLI)

Para habilitar la característica de interfaz de usuario de Spark mediante la AWS CLI, pase los siguientes parámetros de trabajo a los trabajos AWS Glue. Para obtener más información, consulte Parámetros especiales utilizados por AWS Glue.

'--enable-spark-ui': 'true',
'--spark-event-logs-path': 's3://s3-event-log-path'

Cada 30 segundos, AWS Glue vacía los registros de eventos de Spark a la ruta de Amazon S3 que especifique.