Exportación de datos de registro a Simple Storage Service (Amazon S3) - Amazon CloudWatch Logs

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Exportación de datos de registro a Simple Storage Service (Amazon S3)

Exporte los datos de registro desde sus grupos de registro a un bucket de Amazon S3 y utilice estos datos en el procesamiento y análisis personalizados o para cargarlos en otros sistemas. Puede exportar los datos en un bucket en la misma cuenta o en una diferente.

Puede hacer lo siguiente:

  • Exporte los datos de registro a depósitos de S3 cifrados por SSE-KMS en () AWS Key Management Service AWS KMS

  • Exportación de datos de registro a buckets de S3 que cuentan con bloqueo de objetos de S3 habilitado con un periodo de retención

nota

La exportación a Amazon S3 solo se admite para grupos de registros de la clase de registro estándar. Para obtener más información sobre las clases de registro, consulteClases de registro.

Para iniciar el proceso de exportación, debe crear un bucket de S3 para almacenar los datos de registro exportados. Puede almacenar los archivos exportados en su bucket de S3 y definir reglas de ciclo de vida de Amazon S3 para archivar o eliminar archivos exportados automáticamente.

Puede exportar a buckets de S3 que están cifrados con AES-256 o con SSE-KMS. No se admite la exportación a buckets que están cifrados con DSSE-KMS.

Puede exportar los registros de varios grupos de registro o varios intervalos de tiempo en el mismo bucket de S3. Para separar los datos de registro de cada tarea de exportación, puede especificar un prefijo que se utilizará como prefijo de clave de Amazon S3 para todos los objetos exportados.

nota

No se garantiza la ordenación basada en el tiempo de los fragmentos de datos de registro dentro de un archivo exportado. Puede ordenar los datos del campo de registro exportados mediante las utilidades de Linux. Por ejemplo, el siguiente comando de utilidad ordena los eventos de todos los archivos de .gz una sola carpeta.

find . -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z

El siguiente comando de utilidad ordena los archivos.gz de varias subcarpetas.

find ./*/ -type f -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z

Además, puede utilizar otro comando stdout para canalizar la salida ordenada a otro archivo para guardarla.

Los datos de registro pueden tardar hasta 12 horas en estar disponibles para la exportación. El tiempo de espera de las tareas de exportación se agota tras 24 horas. Si se agota el tiempo de espera de las tareas de exportación, reduzca el intervalo de tiempo al crear la tarea de exportación.

Para el análisis casi en tiempo real de datos de registro, consulte Análisis de datos de registro con CloudWatch Logs Insights o Procesamiento en tiempo real de datos de registros con suscripciones en su lugar.

Conceptos

Antes de comenzar, conviene familiarizarse con los siguientes conceptos de exportación:

nombre de grupo de registro

El nombre del grupo de registro asociado a la tarea de exportación. Los datos de registro de este grupo de registro se exportarán al bucket de S3 especificado.

desde (marca temporal)

Una marca temporal necesaria expresada como el número de milisegundos desde el 1 de enero de 1970 00:00:00 UTC. Se exportarán todos los eventos de registro del grupo de registros que se hayan ingerido durante este tiempo o después.

hasta (marca temporal)

Una marca temporal necesaria expresada como el número de milisegundos desde el 1 de enero de 1970 00:00:00 UTC. Se exportarán todos los eventos de registro en el grupo de registro recibidos antes de este momento.

bucket de destino

El nombre del bucket de S3 asociado a la tarea de exportación. Este bucket se utiliza para exportar los datos de registro desde el grupo de registro especificado.

prefijo de destino

Un atributo opcional que se utiliza como prefijo de clave de Amazon S3 para todos los objetos exportados. Esto le ayuda a crear una organización similar a carpetas en su bucket.