Automatización deAWS Gluecon CloudWatch Events - AWS Glue

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Automatización deAWS Gluecon CloudWatch Events

Puede usar eventos de Amazon CloudWatch Events para automatizar suAWSy responder automáticamente a eventos del sistema, como problemas de disponibilidad de aplicaciones o cambios de recursos. Eventos deAWSse envían a CloudWatch Events casi en tiempo real. Puede crear reglas sencillas para indicar qué eventos le resultan de interés, así como qué acciones automatizadas se van a realizar cuando un evento cumple una de las reglas. Entre las acciones que se pueden activar automáticamente se incluyen las siguientes:

  • Invocar una función de AWS Lambda

  • Invocar Ejecutar comando de Amazon EC2

  • Desviar el evento a Amazon Kinesis Data Streams

  • Activar una máquina de estado de AWS Step Functions

  • Notificar un tema de Amazon SNS o una cola de Amazon SQS

Algunos ejemplos del uso de CloudWatch Events conAWS Glueson:

  • Activar una función de Lambda cuando se realiza correctamente un trabajo de ETL

  • Notificar a un tema de Amazon SNS cuando un proceso de ETL produce error

Los siguientes eventos de CloudWatch son generados porAWS Glue.

  • Se generan eventos de "detail-type":"Glue Job State Change" para SUCCEEDED, FAILED, TIMEOUT y STOPPED.

  • Se generan eventos de "detail-type":"Glue Job Run Status" para ejecuciones de trabajos RUNNING, STARTING o STOPPING cuando superan el umbral de notificación de retraso de flujo de trabajo.

  • Se generan eventos de "detail-type":"Glue Crawler State Change" para Started, Succeeded y Failed.

  • Se generan eventos de "detail-type":"Glue Data Catalog Database State Change" para CreateDatabase, DeleteDatabase, CreateTable, DeleteTable y BatchDeleteTable. Por ejemplo, si se crea o se elimina una tabla, se envía una notificación a CloudWatch Events. Tenga en cuenta que no puede escribir un programa que dependa del orden o de la existencia de eventos de notificación, ya que pueden no estar ordenados o faltar. Los eventos se emiten en la medida de lo posible. En los detalles de la notificación:

    • typeOfChange contiene el nombre de una operación API.

    • databaseName contiene el nombre de la base de datos afectada.

    • changedTables contiene hasta 100 nombres de tablas afectadas por notificación. Cuando los nombres de las tablas son largos, podrían crearse varias notificaciones.

  • Se generan eventos de "detail-type":"Glue Data Catalog Table State Change" para UpdateTable, CreatePartition, BatchCreatePartition, DeletePartition y BatchDeletePartition. Por ejemplo, si se actualiza una tabla o una partición, se envía una notificación a CloudWatch Events. Tenga en cuenta que no puede escribir un programa que dependa del orden o de la existencia de eventos de notificación, ya que pueden no estar ordenados o faltar. Los eventos se emiten en la medida de lo posible. En los detalles de la notificación:

    • typeOfChange contiene el nombre de una operación API.

    • databaseName contiene el nombre de la base de datos que contiene los recursos afectados.

    • tableName contiene el nombre de la tabla afectada.

    • changedPartitions especifica hasta 100 particiones afectadas en una notificación. Cuando los nombres de las particiones son largos, podrían crearse varias notificaciones.

      Por ejemplo, si hay dos claves de partición, Year y Month, "2018,01", "2018,02" modifica la partición donde "Year=2018" and "Month=01" y la partición donde "Year=2018" and "Month=02".

      { "version":"0", "id":"abcdef00-1234-5678-9abc-def012345678", "detail-type":"Glue Data Catalog Table State Change", "source":"aws.glue", "account":"123456789012", "time":"2017-09-07T18:57:21Z", "region":"us-west-2", "resources":["arn:aws:glue:us-west-2:123456789012:database/default/foo"], "detail":{ "changedPartitions": [ "2018,01", "2018,02" ], "databaseName": "default", "tableName": "foo", "typeOfChange": "BatchCreatePartition" } }

Para obtener más información, consulte la Guía del usuario de Amazon CloudWatch Events. Para eventos específicos de AWS Glue consulte Eventos de AWS Glue.