步驟 1：設定 Amazon S3 儲存貯體和Fluent Bit組態

建立 Amazon S3 儲存貯體來存放上傳的日誌檔案，以及每個執行個體在開機時下載的Fluent Bit組態。Amazon S3 儲存貯體會在兩個字首下組織內容。ecs-logs/ 字首會存放每個執行個體上傳的壓縮日誌檔案，依執行個體 ID 整理。fluent-bit/ 字首會存放每個執行個體在開機時下載的組態檔案。

您可以將Fluent Bit組態檔案上傳到字fluent-bit/首。這些包括主要組態、剖析器定義和 Lua 修訂指令碼。

範例組態檔案可在配套 GitHub 儲存庫中使用。我們建議您為工作負載自訂這些範例。檢閱和調整輸入來源、修訂模式和上傳間隔，以符合您的需求。

AWS Console

1. 開啟位於 https://console.aws.amazon.com/s3/ 的 Amazon S3 主控台。

2. 選擇建立儲存貯體。

3. 針對儲存貯體名稱，輸入儲存貯體的唯一名稱 （例如 host-level-logs-bucket)。

4. 保持啟用封鎖所有公開存取。

5. 在預設加密下，保留預設設定或選擇您偏好的加密類型。

6. 建立儲存貯體。

7. 開啟您建立的儲存貯體，然後選擇建立資料夾。輸入 fluent-bit做為資料夾名稱，然後選擇建立資料夾。

8. 開啟 fluent-bit/ 資料夾，選擇上傳，然後從範例儲存庫上傳下列組態檔案：

   • fluent-bit.conf

   • parsers.conf

   • redact_secret_vars.lua

   • redact_ecs_config.lua

   • redact_docker_env.lua

AWS CLI

執行下列命令來建立儲存貯體並上傳組態檔案：

aws s3 mb s3://host-level-logs-bucket

aws s3api put-public-access-block \
    --bucket host-level-logs-bucket \
    --public-access-block-configuration \
    "BlockPublicAcls=true,IgnorePublicAcls=true,BlockPublicPolicy=true,RestrictPublicBuckets=true"

aws s3 cp fluent-bit.conf s3://host-level-logs-bucket/fluent-bit/
aws s3 cp parsers.conf s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_secret_vars.lua s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_ecs_config.lua s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_docker_env.lua s3://host-level-logs-bucket/fluent-bit/

上傳組態後， 會使用下列 Amazon S3 金鑰結構Fluent Bit組織日誌輸出：

s3://host-level-logs-bucket/ecs-logs/instance-id/source-tag/YYYY/MM/DD/HHMM-uuid.log.gz

每個執行個體都會寫入其執行個體 ID 所識別的資料夾。在該資料夾中，日誌會依來源標籤 （例如，、ecs-agentdocker、kernel) 組織，並進一步依日期和時間分割。

透過移除不需要的 INPUT 區段或調整集合間隔以符合您的需求來自訂組態。