ステップ 1: Amazon S3 バケットとFluent Bit設定を設定する

Amazon S3 バケットを作成して、アップロードされたログファイルと、起動時に各インスタンスがダウンロードするFluent Bit設定を保存します。Amazon S3 バケットは、コンテンツを 2 つのプレフィックスで整理します。ecs-logs/ プレフィックスは、各インスタンスがアップロードする圧縮ログファイルをインスタンス ID 別に整理して保存します。fluent-bit/ プレフィックスは、起動時に各インスタンスがダウンロードする設定ファイルを保存します。

Fluent Bit 設定ファイルを fluent-bit/ プレフィックスにアップロードします。これには、メイン設定、パーサー定義、Lua 秘匿化スクリプトが含まれます。

サンプル設定ファイルは、コンパニオン GitHub リポジトリで入手できます。これらのサンプルは、ワークロードに合わせてカスタマイズすることをお勧めします。入力ソース、秘匿化パターン、アップロード間隔を確認して、要件に合わせて調整します。

AWS Console

1. Amazon S3 コンソール (https://console.aws.amazon.com/s3/) を開きます。

2. [バケットを作成] を選択します。

3. バケット名には、バケットの一意の名前 (host-level-logs-bucket など) を入力します。

4. すべてのパブリックアクセスのブロックを有効にします。

5. デフォルトの暗号化で、デフォルト設定を保持するか、任意の暗号化タイプを選択します。

6. バケットを作成します。

7. 作成したバケットを開き、フォルダの作成を選択します。フォルダ名fluent-bitとして を入力し、フォルダの作成を選択します。

8. fluent-bit/ フォルダを開き、アップロードを選択し、サンプルリポジトリから次の設定ファイルをアップロードします。

   • fluent-bit.conf

   • parsers.conf

   • redact_secret_vars.lua

   • redact_ecs_config.lua

   • redact_docker_env.lua

AWS CLI

次のコマンドを実行してバケットを作成し、設定ファイルをアップロードします。

aws s3 mb s3://host-level-logs-bucket

aws s3api put-public-access-block \
    --bucket host-level-logs-bucket \
    --public-access-block-configuration \
    "BlockPublicAcls=true,IgnorePublicAcls=true,BlockPublicPolicy=true,RestrictPublicBuckets=true"

aws s3 cp fluent-bit.conf s3://host-level-logs-bucket/fluent-bit/
aws s3 cp parsers.conf s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_secret_vars.lua s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_ecs_config.lua s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_docker_env.lua s3://host-level-logs-bucket/fluent-bit/

設定がアップロードされると、 は次の Amazon S3 キー構造を使用してログ出力をFluent Bit整理します。

s3://host-level-logs-bucket/ecs-logs/instance-id/source-tag/YYYY/MM/DD/HHMM-uuid.log.gz

各インスタンスは、インスタンス ID で識別されるフォルダに書き込みます。そのフォルダ内では、ログはソースタグ (、、 などkernel) 別に整理されecs-agentdocker、さらに日時別に分割されます。

不要な INPUT セクションを削除するか、要件に合わせて収集間隔を調整して、設定をカスタマイズします。