Etapa 1: configurar o bucket do Amazon S3 e Fluent Bit configuration

Crie um bucket do Amazon S3 para armazenar os arquivos de log carregados e a Fluent Bit configuração que cada instância baixa na inicialização. O bucket do Amazon S3 organiza o conteúdo sob dois prefixos. O ecs-logs/ prefixo armazena os arquivos de log compactados que cada instância carrega, organizados por ID da instância. O fluent-bit/ prefixo armazena os arquivos de configuração que cada instância baixa no momento da inicialização.

Você carrega os arquivos Fluent Bit de configuração para o fluent-bit/ prefixo. Isso inclui a configuração principal, as definições do analisador e os scripts de redação de Lua.

Os arquivos de configuração de amostra estão disponíveis no GitHub repositório complementar. Recomendamos que você personalize esses exemplos para suas cargas de trabalho. Revise e ajuste as fontes de entrada, os padrões de redação e os intervalos de upload para atender às suas necessidades.

AWS Console

1. Abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

2. Selecione Criar bucket.

3. Em Bucket name, insira um nome exclusivo para seu bucket (por exemplo,host-level-logs-bucket).

4. Mantenha a opção Bloquear todo o acesso público ativada.

5. Em Criptografia padrão, mantenha as configurações padrão ou escolha seu tipo de criptografia preferido.

6. Crie o bucket.

7. Abra o bucket que você criou e escolha Criar pasta. Insira fluent-bit como nome da pasta e escolha Criar pasta.

8. Abra a fluent-bit/ pasta, escolha Carregar e carregue os seguintes arquivos de configuração do repositório de amostra:

   • fluent-bit.conf

   • parsers.conf

   • redact_secret_vars.lua

   • redact_ecs_config.lua

   • redact_docker_env.lua

AWS CLI

Execute os comandos a seguir para criar o bucket e fazer o upload dos arquivos de configuração:

aws s3 mb s3://host-level-logs-bucket

aws s3api put-public-access-block \
    --bucket host-level-logs-bucket \
    --public-access-block-configuration \
    "BlockPublicAcls=true,IgnorePublicAcls=true,BlockPublicPolicy=true,RestrictPublicBuckets=true"

aws s3 cp fluent-bit.conf s3://host-level-logs-bucket/fluent-bit/
aws s3 cp parsers.conf s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_secret_vars.lua s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_ecs_config.lua s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_docker_env.lua s3://host-level-logs-bucket/fluent-bit/

Depois que a configuração é carregada, Fluent Bit organiza a saída do log usando a seguinte estrutura de chaves do Amazon S3:

s3://host-level-logs-bucket/ecs-logs/instance-id/source-tag/YYYY/MM/DD/HHMM-uuid.log.gz

Cada instância grava em uma pasta identificada por seu ID de instância. Nessa pasta, os registros são organizados por tag de origem (por exemplo,ecs-agent,docker,kernel) e posteriormente particionados por data e hora.

Personalize a configuração removendo seções INPUT desnecessárias ou ajustando os intervalos de coleta para atender às suas necessidades.