View a markdown version of this page

Tutorial: Raccogli i log a livello di host con Fluent Bit - AWS Batch

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Tutorial: Raccogli i log a livello di host con Fluent Bit

In questo tutorial, configurerai la raccolta automatica dei log su istanze di ambiente di calcolo AWS Batch gestito utilizzando. Fluent Bit Dopo aver completato questo tutorial, i log di diagnostica a livello di host vengono caricati automaticamente su Amazon S3 per la risoluzione dei problemi e la condivisione con Support. AWS

Host-level i log sono file di diagnostica generati dall'istanza Amazon EC2 sottostante. Questi log includono i log degli agenti Amazon ECS, i log di runtime di Docker e containerd, i messaggi del kernel, le voci del journal di sistema e lo stato della rete. Si differenziano dai log del Job Container, che acquisiscono e generano l'output dell'applicazione. stdout stderr Per ulteriori informazioni sulla registrazione dei container, vedere. Usa il driver di registro awslogs

Puoi utilizzare questo approccio con ambienti di elaborazione AWS Batch gestiti che utilizzano Amazon EC2 e Amazon On-Demand EC2 Spot. Per attivare o disattivare la registrazione, l'ambiente di calcolo deve supportare gli aggiornamenti dell'infrastruttura. Per ulteriori informazioni, consulta Esegui aggiornamenti dell'infrastruttura.

Le istruzioni in questo argomento presuppongono che tu stia utilizzando l' ECS-optimized AMI Amazon per Amazon Linux 2023. Se utilizzi un'AMI personalizzata, potresti aver bisogno di una configurazione aggiuntiva.

Fluent Bitviene eseguito su ogni istanza come servizio systemd, installato tramite uno user-data script di avvio del modello. L'agente raccoglie i file di registro diagnostici, applica un filtro di Lua-based redazione per rimuovere i dati sensibili e carica i file di registro compressi su Amazon S3 organizzati per ID di istanza.

Importante

Gli script di redazione Lua di esempio forniscono la redazione ottimale dei dati sensibili. I dati redatti includono variabili di ambiente segrete, valori di configurazione di Amazon ECS e output dell'ambiente Docker Inspect. Aggiungi modelli personalizzati per segreti specifici del carico di lavoro. Controlla l'output del registro prima di condividere file con parti esterne.

Il completamento di questa esercitazione richiede circa 30 minuti.

Importante

Le risorse che crei in questo tutorial potrebbero comportare addebiti sul tuo AWS account. Per ulteriori informazioni, consulta le pagine dei prezzi di Amazon EC2, Amazon S3 e. AWS Batch

Prerequisiti
  • Un AWS account con l'autorizzazione a creare policy IAM, modelli di lancio di Amazon EC2, bucket Amazon S3 e ambienti di calcolo. AWS Batch

  • AWS Command Line Interface installato e configurato (se preferisci i passaggi della CLI).

Per configurare la raccolta dei log a livello di host, completa i seguenti passaggi:

  1. Configura il bucket e la configurazione di Amazon S3. Fluent Bit

  2. Configura le autorizzazioni IAM sul tuo ruolo di istanza.

  3. Crea un modello di lancio e collegalo a un ambiente di calcolo.

  4. Verifica e risolvi i problemi.

  5. Eliminare le risorse.