Registro continuo para trabajos de AWS Glue - AWS Glue

Registro continuo para trabajos de AWS Glue

AWS Glue ofrece un registro continuo en tiempo real de los trabajos de AWS Glue. Puede ver registros de trabajos de Apache Spark en tiempo real en Amazon CloudWatch, incluidos registros del controlador, registros de tareas y una barra de progreso de un trabajo de Apache Spark. La posibilidad de ver registros en tiempo real le proporciona una mejor perspectiva de la ejecución de trabajo.

Cuando inicia un trabajo de AWS Glue, envía la información de registro en tiempo real a CloudWatch (cada cinco segundos y antes de que finalice cada ejecutor) después de que la aplicación Spark empiece a ejecutarse. Puede ver los registros en la consola de AWS Glue o el panel de la consola de CloudWatch.

La función de registro continuo incluye las siguientes capacidades:

  • Registro continuo con un filtro predeterminado para reducir el alto nivel de detalle en los registros.

  • Registro continuo sin filtro.

  • Un registro de script personalizado para registrar los mensajes específicos de la aplicación.

  • Una barra de progreso de la consola para realizar un seguimiento del estado de ejecución del trabajo de AWS Glue actual.

Para obtener información sobre cómo se soporta el registro continuo en AWS Glue versión 2.0, consulte Ejecución de trabajos de ETL de Spark con tiempos de inicio reducidos.