Utilizzo di una pipeline di OpenSearch ingestione con Fluent Bit - OpenSearch Servizio Amazon

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Utilizzo di una pipeline di OpenSearch ingestione con Fluent Bit

Questo file di configurazione Fluent Bit di esempio invia i dati di registro da Fluent Bit a una pipeline di ingestione. OpenSearch Per ulteriori informazioni sull'acquisizione dei dati di registro, consulta Log Analytics nella documentazione di Data Prepper.

Tieni presente quanto segue:

  • Il host valore deve essere l'endpoint della pipeline. Ad esempio pipeline-endpoint.us-east-1.osis.amazonaws.com.

  • Il valore aws_service deve essere osis.

  • Il aws_role_arn valore è il ARN AWS IAM ruolo che il client deve assumere e utilizzare per l'autenticazione Signature Version 4.

[INPUT] name tail refresh_interval 5 path /var/log/test.log read_from_head true [OUTPUT] Name http Match * Host pipeline-endpoint.us-east-1.osis.amazonaws.com Port 443 URI /log/ingest Format json aws_auth true aws_region us-east-1 aws_service osis aws_role_arn arn:aws:iam::{account-id}:role/ingestion-role Log_Level trace tls On

È quindi possibile configurare una pipeline di OpenSearch ingestione come la seguente, che ha HTTP come origine:

version: "2" unaggregated-log-pipeline: source: http: path: "/log/ingest" processor: - grok: match: log: - "%{TIMESTAMP_ISO8601:timestamp} %{NOTSPACE:network_node} %{NOTSPACE:network_host} %{IPORHOST:source_ip}:%{NUMBER:source_port:int} -> %{IPORHOST:destination_ip}:%{NUMBER:destination_port:int} %{GREEDYDATA:details}" - grok: match: details: - "'%{NOTSPACE:http_method} %{NOTSPACE:http_uri}' %{NOTSPACE:protocol}" - "TLS%{NOTSPACE:tls_version} %{GREEDYDATA:encryption}" - "%{NUMBER:status_code:int} %{NUMBER:response_size:int}" - delete_entries: with_keys: ["details", "log"] sink: - opensearch: hosts: ["https://search-domain-endpoint.us-east-1.es.amazonaws.com"] index: "index_name" index_type: custom bulk_size: 20 aws: # IAM role that the pipeline assumes to access the domain sink sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role" region: "us-east-1"