Étape 1 : configurer le compartiment Amazon S3 et Fluent Bit configuration

Créez un compartiment Amazon S3 pour stocker les fichiers journaux chargés et la Fluent Bit configuration que chaque instance télécharge au démarrage. Le compartiment Amazon S3 organise le contenu sous deux préfixes. Le ecs-logs/ préfixe stocke les fichiers journaux compressés que chaque instance télécharge, organisés par ID d'instance. Le fluent-bit/ préfixe stocke les fichiers de configuration que chaque instance télécharge au démarrage.

Vous chargez les fichiers Fluent Bit de configuration dans le fluent-bit/ préfixe. Il s'agit notamment de la configuration principale, des définitions de l'analyseur et des scripts de rédaction Lua.

Des exemples de fichiers de configuration sont disponibles dans le GitHub référentiel associé. Nous vous recommandons de personnaliser ces exemples en fonction de vos charges de travail. Passez en revue et ajustez les sources de saisie, les modèles de rédaction et les intervalles de téléchargement en fonction de vos besoins.

AWS Console

1. Ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/.

2. Choisissez Créer un compartiment.

3. Dans le champ Nom du compartiment, entrez un nom unique pour votre compartiment (par exemple,host-level-logs-bucket).

4. Maintenez l'option Bloquer tout accès public activée.

5. Sous Chiffrement par défaut, conservez les paramètres par défaut ou choisissez votre type de chiffrement préféré.

6. Créer le compartiment.

7. Ouvrez le bucket que vous avez créé et choisissez Create folder. Entrez le fluent-bit nom du dossier et choisissez Créer un dossier.

8. Ouvrez le fluent-bit/ dossier, choisissez Upload, puis téléchargez les fichiers de configuration suivants à partir du référentiel d'exemples :

   • fluent-bit.conf

   • parsers.conf

   • redact_secret_vars.lua

   • redact_ecs_config.lua

   • redact_docker_env.lua

AWS CLI

Exécutez les commandes suivantes pour créer le compartiment et télécharger les fichiers de configuration :

aws s3 mb s3://host-level-logs-bucket

aws s3api put-public-access-block \
    --bucket host-level-logs-bucket \
    --public-access-block-configuration \
    "BlockPublicAcls=true,IgnorePublicAcls=true,BlockPublicPolicy=true,RestrictPublicBuckets=true"

aws s3 cp fluent-bit.conf s3://host-level-logs-bucket/fluent-bit/
aws s3 cp parsers.conf s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_secret_vars.lua s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_ecs_config.lua s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_docker_env.lua s3://host-level-logs-bucket/fluent-bit/

Une fois la configuration téléchargée, Fluent Bit organise la sortie du journal à l'aide de la structure de clé Amazon S3 suivante :

s3://host-level-logs-bucket/ecs-logs/instance-id/source-tag/YYYY/MM/DD/HHMM-uuid.log.gz

Chaque instance écrit dans un dossier identifié par son ID d'instance. Dans ce dossier, les journaux sont organisés par balise source (par exemple, ecs-agentdocker,kernel) puis partitionnés par date et heure.

Personnalisez la configuration en supprimant les sections INPUT inutiles ou en ajustant les intervalles de collecte en fonction de vos besoins.