Paso 1: configurar el bucket de Amazon S3 y Fluent Bit configuración

Cree un bucket de Amazon S3 para almacenar los archivos de registro cargados y la Fluent Bit configuración que cada instancia descarga al arrancar. El bucket de Amazon S3 organiza el contenido con dos prefijos. El ecs-logs/ prefijo almacena los archivos de registro comprimidos que carga cada instancia, organizados por ID de instancia. El fluent-bit/ prefijo almacena los archivos de configuración que descarga cada instancia en el momento del arranque.

Los archivos de Fluent Bit configuración se cargan en el fluent-bit/ prefijo. Estos incluyen la configuración principal, las definiciones del analizador y los scripts de redacción de Lua.

Los archivos de configuración de muestra están disponibles en el repositorio complementario. GitHub Le recomendamos que personalice estos ejemplos para sus cargas de trabajo. Revise y ajuste las fuentes de entrada, los patrones de redacción y los intervalos de carga para que se ajusten a sus necesidades.

AWS Console

1. Abra la consola de Amazon S3 en https://console.aws.amazon.com/s3/.

2. Elija Crear bucket.

3. En el campo Nombre del depósito, introduce un nombre exclusivo para el depósito (por ejemplo,host-level-logs-bucket).

4. Mantén activado Bloquear todo el acceso público.

5. En Cifrado predeterminado, mantenga la configuración predeterminada o elija el tipo de cifrado que prefiera.

6. Crear el bucket.

7. Abre el depósito que has creado y selecciona Crear carpeta. Introduce fluent-bit el nombre de la carpeta y selecciona Crear carpeta.

8. Abra la fluent-bit/ carpeta, elija Cargar y cargue los siguientes archivos de configuración desde el repositorio de muestras:

   • fluent-bit.conf

   • parsers.conf

   • redact_secret_vars.lua

   • redact_ecs_config.lua

   • redact_docker_env.lua

AWS CLI

Ejecute los siguientes comandos para crear el depósito y cargar los archivos de configuración:

aws s3 mb s3://host-level-logs-bucket

aws s3api put-public-access-block \
    --bucket host-level-logs-bucket \
    --public-access-block-configuration \
    "BlockPublicAcls=true,IgnorePublicAcls=true,BlockPublicPolicy=true,RestrictPublicBuckets=true"

aws s3 cp fluent-bit.conf s3://host-level-logs-bucket/fluent-bit/
aws s3 cp parsers.conf s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_secret_vars.lua s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_ecs_config.lua s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_docker_env.lua s3://host-level-logs-bucket/fluent-bit/

Una vez cargada la configuración, Fluent Bit organiza la salida del registro mediante la siguiente estructura de claves de Amazon S3:

s3://host-level-logs-bucket/ecs-logs/instance-id/source-tag/YYYY/MM/DD/HHMM-uuid.log.gz

Cada instancia escribe en una carpeta identificada por su ID de instancia. Dentro de esa carpeta, los registros se organizan por etiqueta de origen (por ejemplo, ecs-agentdocker,kernel) y, además, se dividen por fecha y hora.

Personalice la configuración eliminando las secciones INPUT innecesarias o ajustando los intervalos de recopilación para que se ajusten a sus necesidades.