AWS WAF Logs mithilfe AWS Firewall Manager von Amazon Data Firehose an Splunk senden

Erstellt von Michael Friedenthal (AWS), Aman Kaur Gandhi () und JJ Johnson () AWS AWS

Umgebung: PoC oder Pilotprojekt	Technologien: Bereitstellung von Inhalten; Sicherheit, Identität, Compliance	Arbeitslast: Alle anderen Workloads
AWSDienste: AWS Firewall Manager; Amazon Data Firehose; AWS WAF

Übersicht

In der Vergangenheit gab es zwei Möglichkeiten, Daten in Splunk zu verschieben: eine Push- oder eine Pull-Architektur. Eine Pull-Architektur bietet garantierte Lieferdaten durch Wiederholungsversuche, erfordert jedoch spezielle Ressourcen in Splunk, die Daten abfragen. Pull-Architekturen funktionieren aufgrund des Pollings in der Regel nicht in Echtzeit. Eine Push-Architektur hat in der Regel eine geringere Latenz, ist skalierbarer und reduziert die betriebliche Komplexität und die Kosten. Sie garantiert jedoch nicht die Lieferung und erfordert in der Regel Agenten.

Die Splunk-Integration mit Amazon Data Firehose liefert Streaming-Daten in Echtzeit über einen Event Collector () an HTTP Splunk. HEC Diese Integration bietet die Vorteile von Push- und Pull-Architekturen: Sie garantiert die Datenlieferung durch Wiederholungsversuche, erfolgt nahezu in Echtzeit und zeichnet sich durch geringe Latenz und geringe Komplexität aus. Sie sendet Daten HEC schnell und effizient über HTTP oder direkt an Splunk. HTTPS HECssind tokenbasiert, wodurch die Notwendigkeit entfällt, Anmeldeinformationen in einer Anwendung oder in unterstützenden Dateien fest zu codieren.

In einer AWS Firewall Manager Richtlinie können Sie die Protokollierung für den gesamten AWS WAF ACL Webverkehr in all Ihren Konten konfigurieren und dann einen Firehose-Lieferstream verwenden, um diese Protokolldaten zur Überwachung, Visualisierung und Analyse an Splunk zu senden. Diese Lösung bietet die folgenden Vorteile:

• Zentrale Verwaltung und Protokollierung des AWS WAF ACL Webverkehrs in all Ihren Konten

• Splunk-Integration mit einem einzigen AWS-Konto

• Skalierbarkeit

• Bereitstellung von Protokolldaten nahezu in Echtzeit

• Kostenoptimierung durch den Einsatz einer serverlosen Lösung, sodass Sie nicht für ungenutzte Ressourcen bezahlen müssen.

Voraussetzungen und Einschränkungen

Voraussetzungen

• Eine aktive Person AWS-Konto , die Teil einer Organisation in AWS Organizations ist.

• Sie benötigen die folgenden Berechtigungen, um die Protokollierung mit Firehose zu aktivieren:

  • iam:CreateServiceLinkedRole

  • firehose:ListDeliveryStreams

  • wafv2:PutLoggingConfiguration

• AWS WAF und sein Web ACLs muss konfiguriert sein. Anweisungen finden Sie unter Erste Schritte mit AWS WAF.

• AWS Firewall Manager muss eingerichtet sein. Anweisungen finden Sie unter AWS Firewall Manager Voraussetzungen.

• Die Firewall Manager Manager-Sicherheitsrichtlinien für AWS WAF müssen konfiguriert werden. Anweisungen finden Sie unter Erste Schritte mit AWS Firewall ManagerAWS WAF Richtlinien.

• Splunk muss mit einem öffentlichen HTTP Endpunkt eingerichtet werden, der von Firehose erreicht werden kann.

Einschränkungen

• Das AWS-Konten muss in einer einzigen Organisation verwaltet werden. AWS Organizations

• Das Web ACL muss sich in derselben Region befinden wie der Lieferstream. Wenn Sie Protokolle für Amazon erfassen CloudFront, erstellen Sie den Firehose-Lieferstream in der Region USA Ost (Nord-Virginia),us-east-1.

• Das Splunk-Add-on für Firehose ist für kostenpflichtige Splunk Cloud-Implementierungen, verteilte Splunk Enterprise-Bereitstellungen und Splunk Enterprise-Implementierungen mit einer einzigen Instanz verfügbar. Dieses Add-on wird für kostenlose Testversionen von Splunk Cloud nicht unterstützt.

Architektur

Zieltechnologie-Stack

• Firewall Manager

• Firehose

• Amazon-Simple-Storage-Service (Amazon-S3)

• AWS WAF

• Splunk

Zielarchitektur

Die folgende Abbildung zeigt, wie Sie den Firewall Manager verwenden können, um alle AWS WAF Daten zentral zu protokollieren und über Firehose an Splunk zu senden.

1. Das AWS WAF Web ACLs sendet Firewall-Protokolldaten an Firewall Manager.

2. Firewall Manager sendet die Protokolldaten an Firehose.

3. Der Firehose-Lieferstream leitet die Protokolldaten an Splunk und an einen S3-Bucket weiter. Der S3-Bucket dient als Backup im Falle eines Fehlers im Firehose-Lieferstream.

Automatisierung und Skalierung

Diese Lösung ist so konzipiert, dass sie skaliert werden kann und alle AWS WAF Websites ALCs innerhalb des Unternehmens berücksichtigt. Sie können alle Websites so konfigurierenACLs, dass sie dieselbe Firehose-Instanz verwenden. Wenn Sie jedoch mehrere Firehose-Instanzen einrichten und verwenden möchten, können Sie dies tun.

Tools

AWS -Services

• AWS Firewall Managerist ein Sicherheitsverwaltungsdienst, mit dem Sie Firewallregeln für Ihre Konten und Anwendungen zentral konfigurieren und verwalten können. AWS Organizations

• Amazon Data Firehose unterstützt Sie bei der Bereitstellung von Echtzeit-Streaming-Daten an andere AWS -Services, benutzerdefinierte HTTP HTTP Endpunkte und Endgeräte unterstützter Drittanbieter wie Splunk.

• Amazon Simple Storage Service (Amazon S3) ist ein cloudbasierter Objektspeicherservice, der Sie beim Speichern, Schützen und Abrufen beliebiger Datenmengen unterstützt.

• AWS WAFist eine Firewall für Webanwendungen, mit der Sie HTTPS Anfragen überwachen HTTP und an Ihre geschützten Webanwendungsressourcen weiterleiten können.

Andere Tools

• Splunk unterstützt Sie bei der Überwachung, Visualisierung und Analyse von Protokolldaten.

Epen

Splunk konfigurieren

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Installieren Sie die Splunk-App für. AWS	Melden Sie sich bei Ihrem Splunk Heavy Forwarder an. Die Standardeinstellung ist. URL http://<IP address>:8000 Wählen Sie in der linken Navigationsleiste neben Apps die Zahnradtaste aus. Wähle Weitere Apps durchsuchen. Suchen Sie nach AWS. Wählen Sie für Splunk App for die Option AWS Installieren. Geben Sie Ihre Splunk.com-Anmeldedaten ein, akzeptieren Sie die Allgemeinen Geschäftsbedingungen und wählen Sie dann Anmelden und Installieren. Wählen Sie Erledigt aus.	Sicherheitsadministrator, Splunk-Administrator
Installieren Sie das Add-on für. AWS WAF	Wiederholen Sie die vorherigen Anweisungen, um das AWS Web Application Firewall Add-on für Splunk zu installieren.	Sicherheitsadministrator, Splunk-Administrator
Installieren und konfigurieren Sie das Splunk-Add-on für Firehose.	Installieren und konfigurieren Sie das Splunk-Add-on für Firehose. Im Rahmen der Installation und Konfiguration richten Sie, falls dies für Ihre Splunk-Plattform erforderlich ist, einen HTTP Event Collector ein und bereiten die Infrastruktur vor, um die Protokolldaten an Ihre Indexer zu senden. Sehen Sie sich die Anweisungen an, die Ihrer Splunk-Bereitstellung entsprechen: Bereitstellung von Splunk Cloud (Splunk-Dokumentation) Verteilte Splunk Enterprise-Bereitstellung (Splunk-Dokumentation) Bereitstellung von Splunk Enterprise in einer einzigen Instanz (Splunk-Dokumentation) Wichtig: Beenden Sie diesen Vorgang, nachdem Sie das Splunk-Add-on installiert und konfiguriert haben. Fahren Sie nicht mit den Anweisungen zur Konfiguration von Firehose für das Senden von Daten an die Splunk-Plattform fort. Notieren Sie sich das HTTP Event-Collector-Token und den Endpunkt. HTTP Sie benötigen diesen Wert später, wenn Sie den Delivery Stream konfigurieren.	Sicherheitsadministrator, Splunk-Administrator

Erstellen Sie den Firehose-Lieferstream

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Gewähren Sie Firehose Zugriff auf ein Splunk-Ziel.	Konfigurieren Sie die Zugriffsrichtlinie, die es Firehose ermöglicht, auf ein Splunk-Ziel zuzugreifen und die Protokolldaten in einem S3-Bucket zu sichern. Weitere Informationen finden Sie unter Firehose Zugriff auf ein Splunk-Ziel gewähren.	Sicherheitsadministrator
Erstellen Sie einen Firehose-Lieferstream.	Erstellen Sie in demselben Konto AWS WAF, ACLs für das Sie das Web verwalten, einen Lieferstream in Firehose. Beim Erstellen eines Delivery Streams müssen Sie über eine IAM Rolle verfügen. Firehose übernimmt diese IAM Rolle und erhält Zugriff auf den angegebenen S3-Bucket. Anweisungen finden Sie unter Einen Lieferstream erstellen. Beachten Sie Folgendes: Der Name des Lieferdatenstroms muss mit beginnenaws-waf-logs-. Wählen Sie als Quelle Direct ausPUT. Wählen Sie für den S3-Backup-Modus Alle Ereignisse sichern und wählen Sie dann einen vorhandenen Bucket aus oder erstellen Sie einen neuen. Folgen Sie für das Ziel den Anweisungen unter Wählen Sie Splunk für Ihr Ziel in der Firehose-Dokumentation. Informationen zu den Werten für Splunk-Endpunkte und Endpunkttypen finden Sie unter Amazon Data Firehose konfigurieren in der Splunk-Dokumentation. Wiederholen Sie diesen Vorgang für jedes Token, das Sie im Event Collector konfiguriert haben. HTTP	Sicherheitsadministrator
Testen Sie den Lieferstream.	Testen Sie den Lieferstream, um sicherzustellen, dass er richtig konfiguriert ist. Anweisungen finden Sie unter Testen mit Splunk als Ziel in der Firehose-Dokumentation.	Sicherheitsadministrator

Konfigurieren Sie den Firewall Manager für die Protokollierung von Daten

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Konfigurieren Sie die Firewall Manager Manager-Richtlinien.	Die Firewall Manager Manager-Richtlinien müssen so konfiguriert sein, dass sie die Protokollierung aktivieren und Protokolle an den richtigen Firehose-Lieferstream weiterleiten. Weitere Informationen und Anweisungen finden Sie unter Konfiguration der Protokollierung für eine AWS WAF Richtlinie.	Sicherheitsadministrator

Zugehörige Ressourcen

AWS Ressourcen

• Protokollierung ACL des Webverkehrs (AWS WAF Dokumentation)

• Konfiguration der Protokollierung für eine AWS WAF Richtlinie (AWS WAF Dokumentation)

• Tutorial: Mit Amazon Data Firehose VPC Flow-Logs an Splunk senden (Firehose-Dokumentation)

• Wie übertrage ich VPC Flow-Logs mit Amazon Data Firehose an Splunk? (Wissenszentrum)AWS

• Optimieren Sie die Datenaufnahme in Splunk mithilfe von Amazon Data Firehose (Blogbeitrag)AWS

Splunk-Dokumentation

• Splunk-Add-on für Amazon Data Firehose