Envíe AWS WAF registros a Splunk mediante AWS Firewall Manager Amazon Data Firehose

PDF

Creado por Michael Friedenthal (AWS), Aman Kaur Gandhi (AWS) y JJ Johnson (AWS)

Resumen

Históricamente, había dos formas de mover los datos a Splunk: una arquitectura de inserción o una arquitectura de extracción. Una arquitectura de extracción ofrece garantías de entrega de los datos mediante reintentos, pero requiere recursos dedicados en Splunk que recopilen los datos. Las arquitecturas de extracción no suelen funcionar en tiempo real debido a las encuestas. Una arquitectura de inserción suele tener una latencia más baja, es más escalable y reduce la complejidad y los costos operativos. Sin embargo, no garantiza la entrega y, por lo general, requiere agentes.

La integración de Splunk con Amazon Data Firehose proporciona datos de streaming en tiempo real a Splunk a través de un recopilador de eventos HTTP (HEC). Esta integración ofrece las ventajas de las arquitecturas de inserción y extracción: garantiza la entrega de datos mediante reintentos, es prácticamente en tiempo real, es de baja latencia y tiene poca complejidad. El HEC envía los datos de forma rápida y eficiente a través de HTTP o HTTPS directamente a Splunk. HECs están basados en fichas, lo que elimina la necesidad de codificar las credenciales en una aplicación o en los archivos auxiliares.

En una AWS Firewall Manager política, puede configurar el registro de todo el tráfico de ACL AWS WAF web en todas sus cuentas y, a continuación, puede utilizar una transmisión de entrega de Firehose para enviar los datos de registro a Splunk para su supervisión, visualización y análisis. Esta solución proporciona los siguientes beneficios:

• Administración y registro centralizados del tráfico de ACL AWS WAF web en todas sus cuentas

• Integración de Splunk con una sola Cuenta de AWS

• Escalabilidad

• Entrega de datos de registro prácticamente en tiempo real

• Optimización de costos mediante el uso de una solución sin servidor, de forma que no tenga que pagar por los recursos no utilizados.

Requisitos previos y limitaciones

Requisitos previos 

• Un activo Cuenta de AWS que forma parte de una organización en AWS Organizations.

• Debe tener los siguientes permisos para habilitar el registro con Firehose:

  • iam:CreateServiceLinkedRole

  • firehose:ListDeliveryStreams

  • wafv2:PutLoggingConfiguration

• AWS WAF y su web ACLs debe estar configurada. Para obtener instrucciones, consulte Primeros pasos con AWS WAF.

• AWS Firewall Manager debe estar configurado. Para obtener instrucciones, consulte los AWS Firewall Manager requisitos previos.

• Se AWS WAF deben configurar las políticas de seguridad de Firewall Manager para. Para obtener instrucciones, consulte Introducción a las AWS Firewall ManagerAWS WAF políticas.

• Splunk debe estar configurado con un punto final HTTP público al que Firehose pueda acceder.

Limitaciones

• Cuentas de AWS Debe administrarse en una sola organización en. AWS Organizations

• La ACL web debe estar en la misma región que la transmisión de entrega. Si vas a capturar registros para Amazon CloudFront, crea el flujo de entrega Firehose en la región EE.UU. Este (Norte de Virginia),. us-east-1

• El complemento Splunk para Firehose está disponible para despliegues de pago de Splunk Cloud, despliegues distribuidos de Splunk Enterprise y despliegues de Splunk Enterprise de instancia única. Este complemento no es compatible con las implementaciones de prueba gratuitas de Splunk Cloud.

Arquitectura

Pila de tecnología de destino

• Firewall Manager

• Firehose

• Amazon Simple Storage Service (Amazon S3)

• AWS WAF

• Splunk

Arquitectura de destino

La siguiente imagen muestra cómo puede utilizar el Firewall Manager para registrar de forma centralizada todos los AWS WAF datos y enviarlos a Splunk a través de Firehose.

1. La AWS WAF web ACLs envía los datos de registro del firewall al Firewall Manager.

2. Firewall Manager envía los datos de registro a Firehose.

3. El flujo de entrega de Firehose reenvía los datos de registro a Splunk y a un depósito S3. El bucket de S3 actúa como respaldo en caso de que se produzca un error en el flujo de entrega de Firehose.

Automatizar y escalar

Esta solución está diseñada para escalar y adaptarse a todos los AWS WAF sitios web de la organización ALCs . Puedes configurar todas las páginas web ACLs para que usen la misma instancia de Firehose. Sin embargo, si quieres configurar y usar varias instancias de Firehose, puedes hacerlo.

Herramientas

Servicios de AWS

• AWS Firewall Manageres un servicio de gestión de la seguridad que te ayuda a configurar y gestionar de forma centralizada las reglas de firewall en todas tus cuentas y aplicaciones en AWS Organizations.

• Amazon Data Firehose le ayuda a entregar datos de streaming en tiempo real a otros Servicios de AWS puntos de enlace HTTP personalizados y puntos de enlace HTTP propiedad de proveedores de servicios externos compatibles, como Splunk.

• Amazon Simple Storage Service (Amazon S3) es un servicio de almacenamiento de objetos basado en la nube que le ayuda a almacenar, proteger y recuperar cualquier cantidad de datos.

• AWS WAFes un firewall de aplicaciones web que le ayuda a supervisar las solicitudes HTTP y HTTPS que se reenvían a los recursos de sus aplicaciones web protegidas.

Otras herramientas

• Splunk le permite monitorear, visualizar y analizar los datos de registro.

Epics

Configurar Splunk

Tarea	Descripción	Habilidades requeridas
Instale la aplicación Splunk para AWS.	Inicie sesión en su programa de envío intensivo de Splunk. La URL predeterminada es http://<IP address>:8000. En el panel de navegación de la izquierda, junto a Aplicaciones, seleccione el botón de engranaje. Seleccione Buscar más aplicaciones. Busque la opción AWS. En el caso de la aplicación Splunk para AWS, selecciona Instalar. Introduzca sus credenciales de inicio de sesión en Splunk.com, acepte los términos y condiciones y, a continuación, seleccione Iniciar sesión e instalar. Seleccione Listo.	Administrador de seguridad, administrador de Splunk
Instala el complemento para. AWS WAF	Repita las instrucciones anteriores para instalar el complemento de firewall de aplicaciones AWS web para Splunk.	Administrador de seguridad, administrador de Splunk
Instala y configura el complemento Splunk para Firehose.	Instala y configura el complemento Splunk para Firehose. Como parte de la instalación y la configuración, si es necesario para su plataforma Splunk, debe configurar un recopilador de eventos HTTP y preparar la infraestructura para enviar los datos de registro a sus indexadores. Consulte las instrucciones correspondientes a su implementación de Splunk: Implementación de Splunk Cloud (documentación de Splunk) Implementación distribuida de Splunk Enterprise (documentación de Splunk) Implementación de Splunk Enterprise en una sola instancia (documentación de Splunk) importante Detenga este procedimiento después de haber instalado y configurado el complemento Splunk. No continúe con las instrucciones para configurar Firehose para enviar datos a la plataforma Splunk. Anote el token del recopilador de eventos HTTP y el punto de conexión HTTP. Necesitará este valor más adelante, cuando configure el flujo de entrega.	Administrador de seguridad, administrador de Splunk

Configurar Splunk

Tarea	Descripción	Habilidades requeridas
Instale la aplicación Splunk para AWS.	Inicie sesión en su programa de envío intensivo de Splunk. La URL predeterminada es http://<IP address>:8000. En el panel de navegación de la izquierda, junto a Aplicaciones, seleccione el botón de engranaje. Seleccione Buscar más aplicaciones. Busque la opción AWS. En el caso de la aplicación Splunk para AWS, selecciona Instalar. Introduzca sus credenciales de inicio de sesión en Splunk.com, acepte los términos y condiciones y, a continuación, seleccione Iniciar sesión e instalar. Seleccione Listo.	Administrador de seguridad, administrador de Splunk
Instala el complemento para. AWS WAF	Repita las instrucciones anteriores para instalar el complemento de firewall de aplicaciones AWS web para Splunk.	Administrador de seguridad, administrador de Splunk
Instala y configura el complemento Splunk para Firehose.	Instala y configura el complemento Splunk para Firehose. Como parte de la instalación y la configuración, si es necesario para su plataforma Splunk, debe configurar un recopilador de eventos HTTP y preparar la infraestructura para enviar los datos de registro a sus indexadores. Consulte las instrucciones correspondientes a su implementación de Splunk: Implementación de Splunk Cloud (documentación de Splunk) Implementación distribuida de Splunk Enterprise (documentación de Splunk) Implementación de Splunk Enterprise en una sola instancia (documentación de Splunk) importante Detenga este procedimiento después de haber instalado y configurado el complemento Splunk. No continúe con las instrucciones para configurar Firehose para enviar datos a la plataforma Splunk. Anote el token del recopilador de eventos HTTP y el punto de conexión HTTP. Necesitará este valor más adelante, cuando configure el flujo de entrega.	Administrador de seguridad, administrador de Splunk

Crea el flujo de entrega de Firehose

Tarea	Descripción	Habilidades requeridas
Concede a Firehose acceso a un destino de Splunk.	Configure la política de acceso que permite a Firehose acceder a un destino de Splunk y hacer una copia de seguridad de los datos de registro en un bucket de S3. Para obtener más información, consulta Otorgar a Firehose acceso a un destino de Splunk.	Administrador de seguridad
Crea un flujo de entrega de Firehose.	En la misma cuenta ACLs para la que administras la web AWS WAF, crea un flujo de entrega en Firehose. Es obligatorio contar con un rol de IAM al crear un flujo de entrega. Firehose asume esa función de IAM y obtiene acceso al bucket S3 especificado. Para obtener instrucciones, consulte Crear un flujo de entrega. Tenga en cuenta lo siguiente: El nombre de flujo de entrega debe empezar por aws-waf-logs-. Para el origen, elija Direct PUT. En Modo de copia de seguridad de S3, seleccione Hacer copia de seguridad de todos los eventos y, a continuación, elija un bucket existente o cree uno nuevo. Para el destino, siga las instrucciones de Elija Splunk para su destino en la documentación de Firehose. Para obtener información sobre los valores de los puntos de enlace y los tipos de puntos de enlace de Splunk, consulte Configurar Amazon Data Firehose en la documentación de Splunk. Repita este proceso para cada token que haya configurado en el recopilador de eventos HTTP.	Administrador de seguridad
Pruebe el flujo de entrega.	Pruebe el flujo de entrega para comprobar que está configurado correctamente. Para obtener instrucciones, consulte Probar con Splunk como destino en la documentación de Firehose.	Administrador de seguridad

Crea el flujo de entrega de Firehose

Tarea	Descripción	Habilidades requeridas
Concede a Firehose acceso a un destino de Splunk.	Configure la política de acceso que permite a Firehose acceder a un destino de Splunk y hacer una copia de seguridad de los datos de registro en un bucket de S3. Para obtener más información, consulta Otorgar a Firehose acceso a un destino de Splunk.	Administrador de seguridad
Crea un flujo de entrega de Firehose.	En la misma cuenta ACLs para la que administras la web AWS WAF, crea un flujo de entrega en Firehose. Es obligatorio contar con un rol de IAM al crear un flujo de entrega. Firehose asume esa función de IAM y obtiene acceso al bucket S3 especificado. Para obtener instrucciones, consulte Crear un flujo de entrega. Tenga en cuenta lo siguiente: El nombre de flujo de entrega debe empezar por aws-waf-logs-. Para el origen, elija Direct PUT. En Modo de copia de seguridad de S3, seleccione Hacer copia de seguridad de todos los eventos y, a continuación, elija un bucket existente o cree uno nuevo. Para el destino, siga las instrucciones de Elija Splunk para su destino en la documentación de Firehose. Para obtener información sobre los valores de los puntos de enlace y los tipos de puntos de enlace de Splunk, consulte Configurar Amazon Data Firehose en la documentación de Splunk. Repita este proceso para cada token que haya configurado en el recopilador de eventos HTTP.	Administrador de seguridad
Pruebe el flujo de entrega.	Pruebe el flujo de entrega para comprobar que está configurado correctamente. Para obtener instrucciones, consulte Probar con Splunk como destino en la documentación de Firehose.	Administrador de seguridad

Configurar Firewall Manager para registrar datos

Tarea	Descripción	Habilidades requeridas
Configure las políticas de Firewall Manager.	Las políticas de Firewall Manager deben configurarse para habilitar el registro y reenviar los registros al flujo de entrega de Firehose correcto. Para obtener más información e instrucciones, consulte Configurar el registro de una AWS WAF política.	Administrador de seguridad

Configurar Firewall Manager para registrar datos

Tarea	Descripción	Habilidades requeridas
Configure las políticas de Firewall Manager.	Las políticas de Firewall Manager deben configurarse para habilitar el registro y reenviar los registros al flujo de entrega de Firehose correcto. Para obtener más información e instrucciones, consulte Configurar el registro de una AWS WAF política.	Administrador de seguridad

Recursos relacionados

AWS resources

• Registro del tráfico de ACL web (AWS WAF documentación)

• Configuración del registro para una AWS WAF política (AWS WAF documentación)

• Tutorial: Envío de registros de flujo de VPC a Splunk mediante Amazon Data Firehose (documentación de Firehose)

• ¿Cómo puedo enviar los registros de flujo de VPC a Splunk con Amazon Data Firehose? (Centro de conocimiento)AWS

• Alimentación de datos en Splunk mediante Amazon Data Firehose (entrada del blog)AWS

Documentación de Splunk

• Complemento Splunk para Amazon Data Firehose