View a markdown version of this page

Passaggio 1: configura il bucket Amazon S3 e Fluent Bit configurazione - AWS Batch

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Passaggio 1: configura il bucket Amazon S3 e Fluent Bit configurazione

Crea un bucket Amazon S3 per archiviare i file di registro caricati e la Fluent Bit configurazione che ogni istanza scarica all'avvio. Il bucket Amazon S3 organizza i contenuti con due prefissi. Il ecs-logs/ prefisso memorizza i file di log compressi caricati da ciascuna istanza, organizzati per ID di istanza. Il fluent-bit/ prefisso memorizza i file di configurazione che ogni istanza scarica all'avvio.

Caricate i file Fluent Bit di configurazione nel fluent-bit/ prefisso. Questi includono la configurazione principale, le definizioni dei parser e gli script di redazione Lua.

File di configurazione di esempio sono disponibili nel repository complementare. GitHub Ti consigliamo di personalizzare questi esempi per i tuoi carichi di lavoro. Rivedi e modifica le fonti di input, i modelli di redazione e gli intervalli di caricamento in base alle tue esigenze.

AWS Console

  1. Apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

  2. Seleziona Crea bucket.

  3. Per il nome del bucket, inserisci un nome univoco per il tuo bucket (ad esempio,). host-level-logs-bucket

  4. Mantieni abilitato l'opzione Blocca tutti gli accessi pubblici.

  5. In Crittografia predefinita, mantieni le impostazioni predefinite o scegli il tipo di crittografia preferito.

  6. Crea il bucket.

  7. Apri il bucket che hai creato e scegli Crea cartella. Inserisci fluent-bit il nome della cartella e scegli Crea cartella.

  8. Apri la fluent-bit/ cartella, scegli Carica e carica i seguenti file di configurazione dal repository di esempio:

    • fluent-bit.conf

    • parsers.conf

    • redact_secret_vars.lua

    • redact_ecs_config.lua

    • redact_docker_env.lua

AWS CLI

Esegui i seguenti comandi per creare il bucket e caricare i file di configurazione:

aws s3 mb s3://host-level-logs-bucket

aws s3api put-public-access-block \
    --bucket host-level-logs-bucket \
    --public-access-block-configuration \
    "BlockPublicAcls=true,IgnorePublicAcls=true,BlockPublicPolicy=true,RestrictPublicBuckets=true"

aws s3 cp fluent-bit.conf s3://host-level-logs-bucket/fluent-bit/
aws s3 cp parsers.conf s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_secret_vars.lua s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_ecs_config.lua s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_docker_env.lua s3://host-level-logs-bucket/fluent-bit/

Una volta caricata la configurazione, Fluent Bit organizza l'output del log utilizzando la seguente struttura di chiavi Amazon S3:

s3://host-level-logs-bucket/ecs-logs/instance-id/source-tag/YYYY/MM/DD/HHMM-uuid.log.gz

Ogni istanza scrive in una cartella identificata dal relativo ID di istanza. All'interno di tale cartella, i log sono organizzati per tag di origine (ad esempio, ecs-agentdocker,kernel) e ulteriormente partizionati per data e ora.

Personalizzate la configurazione rimuovendo le sezioni INPUT non necessarie o regolando gli intervalli di raccolta in base alle vostre esigenze.