View a markdown version of this page

Schritt 1: Richten Sie den Amazon S3 S3-Bucket ein und Fluent Bit configuration - AWS Batch

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Schritt 1: Richten Sie den Amazon S3 S3-Bucket ein und Fluent Bit configuration

Erstellen Sie einen Amazon S3 S3-Bucket, um die hochgeladenen Protokolldateien und die Fluent Bit Konfiguration zu speichern, die jede Instance beim Booten herunterlädt. Der Amazon S3 S3-Bucket organisiert Inhalte unter zwei Präfixen. Das ecs-logs/ Präfix speichert die komprimierten Protokolldateien, die jede Instance hochlädt, geordnet nach Instance-ID. Das fluent-bit/ Präfix speichert die Konfigurationsdateien, die jede Instanz beim Booten herunterlädt.

Sie laden die Fluent Bit Konfigurationsdateien in das fluent-bit/ Präfix hoch. Dazu gehören die Hauptkonfiguration, Parserdefinitionen und Lua-Redaktionsskripten.

Beispielkonfigurationsdateien sind im zugehörigen Repository verfügbar. GitHub Wir empfehlen Ihnen, diese Beispiele an Ihre Workloads anzupassen. Überprüfen Sie die Eingabequellen, Redaktionsmuster und Upload-Intervalle und passen Sie sie an Ihre Anforderungen an.

AWS Console

  1. Öffnen Sie die Amazon S3 S3-Konsole unter https://console.aws.amazon.com/s3/.

  2. Wählen Sie Create Bucket (Bucket erstellen) aus.

  3. Geben Sie unter Bucket-Name einen eindeutigen Namen für Ihren Bucket ein (z. B.host-level-logs-bucket).

  4. Lassen Sie „Allen öffentlichen Zugriff blockieren“ aktiviert.

  5. Behalten Sie unter Standardverschlüsselung die Standardeinstellungen bei oder wählen Sie Ihren bevorzugten Verschlüsselungstyp.

  6. Erstellen Sie den Bucket.

  7. Öffnen Sie den Bucket, den Sie erstellt haben, und wählen Sie Ordner erstellen. Geben Sie fluent-bit den Ordnernamen ein und wählen Sie Ordner erstellen.

  8. Öffnen Sie den fluent-bit/ Ordner, wählen Sie Upload und laden Sie die folgenden Konfigurationsdateien aus dem Beispiel-Repository hoch:

    • fluent-bit.conf

    • parsers.conf

    • redact_secret_vars.lua

    • redact_ecs_config.lua

    • redact_docker_env.lua

AWS CLI

Führen Sie die folgenden Befehle aus, um den Bucket zu erstellen und die Konfigurationsdateien hochzuladen:

aws s3 mb s3://host-level-logs-bucket

aws s3api put-public-access-block \
    --bucket host-level-logs-bucket \
    --public-access-block-configuration \
    "BlockPublicAcls=true,IgnorePublicAcls=true,BlockPublicPolicy=true,RestrictPublicBuckets=true"

aws s3 cp fluent-bit.conf s3://host-level-logs-bucket/fluent-bit/
aws s3 cp parsers.conf s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_secret_vars.lua s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_ecs_config.lua s3://host-level-logs-bucket/fluent-bit/
aws s3 cp redact_docker_env.lua s3://host-level-logs-bucket/fluent-bit/

Fluent BitOrganisiert nach dem Hochladen der Konfiguration die Protokollausgabe anhand der folgenden Amazon S3 S3-Schlüsselstruktur:

s3://host-level-logs-bucket/ecs-logs/instance-id/source-tag/YYYY/MM/DD/HHMM-uuid.log.gz

Jede Instance schreibt in einen Ordner, der durch ihre Instance-ID identifiziert wird. Innerhalb dieses Ordners sind die Protokolle nach Quell-Tags (z. B., ecs-agentdocker,kernel) organisiert und weiter nach Datum und Uhrzeit partitioniert.

Passen Sie die Konfiguration an, indem Sie nicht benötigte INPUT-Abschnitte entfernen oder die Erfassungsintervalle an Ihre Anforderungen anpassen.