Langkah 1: Siapkan bucket Amazon S3 dan Fluent Bit konfigurasi

Buat bucket Amazon S3 untuk menyimpan file log yang diunggah dan Fluent Bit konfigurasi yang diunduh setiap instance saat boot. Bucket Amazon S3 mengatur konten di bawah dua awalan. ecs-logs/Awalan menyimpan file log terkompresi yang diunggah setiap instance, diatur berdasarkan ID instance. fluent-bit/Awalan menyimpan file konfigurasi yang diunduh setiap instance saat boot.

Anda mengunggah file Fluent Bit konfigurasi ke fluent-bit/ awalan. Ini termasuk konfigurasi utama, definisi parser, dan skrip redaksi Lua.

File konfigurasi sampel tersedia di GitHub repositori pendamping. Kami menyarankan Anda menyesuaikan sampel ini untuk beban kerja Anda. Tinjau dan sesuaikan sumber input, pola redaksi, dan interval unggah agar sesuai dengan kebutuhan Anda.

AWS Console

1. Buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

2. Pilih Buat bucket.

3. Untuk nama Bucket, masukkan nama unik untuk bucket Anda (misalnya,host-level-logs-bucket).

4. Tetap Blokir semua akses publik diaktifkan.

5. Di bawah Enkripsi default, pertahankan pengaturan default atau pilih jenis enkripsi pilihan Anda.

6. Buat bucket.

7. Buka bucket yang Anda buat dan pilih Create folder. Masukkan fluent-bit sebagai nama folder dan pilih Buat folder.

8. Buka fluent-bit/ folder, pilih Unggah, dan unggah file konfigurasi berikut dari repositori sampel:

   • fluent-bit.conf

   • parsers.conf

   • redact_secret_vars.lua

   • redact_ecs_config.lua

   • redact_docker_env.lua

AWS CLI

Jalankan perintah berikut untuk membuat bucket dan mengunggah file konfigurasi:

aws s3 mb s3://host-level-logs-bucket

aws s3api put-public-access-block \
    --bucket host-level-logs-bucket \
    --public-access-block-configuration \
    "BlockPublicAcls=true,IgnorePublicAcls=true,BlockPublicPolicy=true,RestrictPublicBuckets=true"

aws s3 cp fluent-bit.conf s3://host-level-logs-bucket/fluent-bit/
aws s3 cp parsers.conf s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_secret_vars.lua s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_ecs_config.lua s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_docker_env.lua s3://host-level-logs-bucket/fluent-bit/

Setelah konfigurasi diunggah, Fluent Bit atur keluaran log menggunakan struktur kunci Amazon S3 berikut:

s3://host-level-logs-bucket/ecs-logs/instance-id/source-tag/YYYY/MM/DD/HHMM-uuid.log.gz

Setiap instance menulis ke folder yang diidentifikasi oleh ID instance-nya. Dalam folder itu, log diatur oleh tag sumber (misalnya,, ecs-agentdocker,kernel) dan selanjutnya dipartisi berdasarkan tanggal dan waktu.

Sesuaikan konfigurasi dengan menghapus bagian INPUT yang tidak dibutuhkan atau menyesuaikan interval pengumpulan agar sesuai dengan kebutuhan Anda.