View a markdown version of this page

Tutorial: Erfassen Sie Logs auf Host-Ebene mit Fluent Bit - AWS Batch

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Tutorial: Erfassen Sie Logs auf Host-Ebene mit Fluent Bit

In diesem Tutorial richten Sie die automatische Protokollerfassung auf Instanzen der AWS Batch verwalteten Rechenumgebung einFluent Bit. Nach Abschluss dieses Tutorials werden die Diagnoseprotokolle auf Host-Ebene automatisch zur Problembehandlung und Weitergabe an den Support auf Amazon S3 hochgeladen. AWS

Host-level Protokolle sind Diagnosedateien, die von der zugrunde liegenden Amazon EC2-Instance generiert werden. Zu diesen Protokollen gehören Amazon ECS-Agentenprotokolle, Docker- und Containerd-Laufzeitprotokolle, Kernel-Meldungen, Systemjournaleinträge und Netzwerkstatus. Sie unterscheiden sich von Jobcontainer-Protokollen, die die stdout stderr Ausgabe Ihrer Anwendung erfassen. Weitere Hinweise zur Container-Protokollierung finden Sie unterVerwenden Sie den awslogs-Protokolltreiber.

Sie können diesen Ansatz in AWS Batch verwalteten Rechenumgebungen verwenden, die Amazon EC2 On-Demand und Amazon EC2 Spot verwenden. Um die Anmeldung ein- oder auszuschalten, muss die Computerumgebung Infrastrukturaktualisierungen unterstützen. Weitere Informationen finden Sie unter Führen Sie Infrastruktur-Updates durch.

Bei den Anweisungen in diesem Thema wird davon ausgegangen, dass Sie das Amazon ECS-optimized AMI für Amazon Linux 2023 verwenden. Wenn Sie ein benutzerdefiniertes AMI verwenden, benötigen Sie möglicherweise eine zusätzliche Konfiguration.

Fluent Bitwird auf jeder Instanz als Systemd-Dienst ausgeführt, der über ein user-data Startvorlagenskript installiert wird. Der Agent sammelt Diagnoseprotokolldateien, wendet einen Schwärzungsfilter an Lua-based , um vertrauliche Daten zu entfernen, und lädt komprimierte Protokolldateien, sortiert nach Instance-ID, auf Amazon S3 hoch.

Wichtig

Die Lua-Beispiel-Redaktionsskripte ermöglichen das bestmögliche Redigieren vertraulicher Daten. Zu den redigierten Daten gehören geheime Umgebungsvariablen, Amazon ECS-Konfigurationswerte und Docker Inspect-Umgebungsausgaben. Fügen Sie benutzerdefinierte Muster für arbeitslastspezifische Geheimnisse hinzu. Überprüfen Sie die Protokollausgabe, bevor Sie Dateien mit externen Parteien teilen.

Dieses Tutorial nimmt ungefähr 30 Minuten in Anspruch.

Wichtig

Die Ressourcen, die Sie in diesem Tutorial erstellen, können zu Belastungen Ihres AWS Kontos führen. Weitere Informationen finden Sie auf den Preisseiten für Amazon EC2, Amazon S3 und AWS Batch.

Voraussetzungen

  • Ein AWS Konto mit der Berechtigung zur Erstellung von IAM-Richtlinien, Amazon EC2-Startvorlagen, Amazon S3-Buckets und Rechenumgebungen. AWS Batch

  • AWS Command Line Interface installiert und konfiguriert (wenn Sie CLI-Schritte bevorzugen).

Gehen Sie wie folgt vor, um die Protokollerfassung auf Host-Ebene einzurichten:

  1. Richten Sie den Amazon S3-Bucket und Fluent Bit die Konfiguration ein.

  2. Konfigurieren Sie die IAM-Berechtigungen für Ihre Instance-Rolle.

  3. Erstellen Sie eine Startvorlage und hängen Sie sie an eine Rechenumgebung an.

  4. Überprüfen und Fehler beheben.

  5. Bereinigen Sie die Ressourcen.

Themen