Solución de problemas de Splunk - Amazon Data Firehose

La entrega de transmisiones de Amazon Data Firehose a Apache Iceberg Tables en Amazon S3 está en versión preliminar y está sujeta a cambios.

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Solución de problemas de Splunk

Realice las siguientes comprobaciones si los datos no se entregan a su punto de enlace de Splunk.

  • Si tu plataforma Splunk está en unaVPC, asegúrate de que Firehose pueda acceder a ella. Para obtener más información, consulte Acceso a Splunk en. VPC

  • Si utilizas un balanceador de AWS cargas, asegúrate de que sea un Classic Load Balancer o un Application Load Balancer. Además, habilite las sesiones fijas basadas en la duración con la caducidad de las cookies deshabilitada para Classic Load Balancer y la caducidad establecida en el máximo (7 días) para Application Load Balancer. Para obtener información sobre cómo hacerlo, consulte Duración de la sesión basada en la duración para Classic Load Balancer o Application Load Balancer.

  • Revise los requisitos de la plataforma Splunk. El complemento Splunk para Firehose requiere la versión 6.6.X o posterior de la plataforma Splunk. Para obtener más información, consulte Splunk Add-on for Amazon Kinesis Firehose.

  • Si tienes un proxy (Elastic Load Balancing u otro) entre Firehose y el nodo HTTP Event Collector (HEC), habilita las sesiones fijas para admitir los acuses de HEC recibo (). ACKs

  • Asegúrese de utilizar un token válidoHEC.

  • Asegúrese de que el HEC token esté activado.

  • Compruebe que los datos que está enviando a Splunk tienen el formato correcto. Para obtener más información, consulte Formatear eventos para HTTP Event Collector.

  • Asegúrese de que el HEC token y el evento de entrada estén configurados con un índice válido.

  • Cuando se produce un error al cargar en Splunk debido a un error del servidor del HEC nodo, la solicitud se vuelve a intentar automáticamente. Si fallan todos los reintentos, se crea una copia de seguridad de los datos en Amazon S3. Compruebe si los datos aparecen en Amazon S3; esa es una indicación de este tipo de error.

  • Asegúrese de haber activado el reconocimiento del indexador en su token. HEC Para obtener más información, consulte Enable indexer acknowledgement.

  • Aumente el valor de HECAcknowledgmentTimeoutInSeconds la configuración de destino de Splunk de su transmisión Firehose.

  • Aumenta el valor de DurationInSeconds under RetryOptions en la configuración de destino de Splunk de tu transmisión de Firehose.

  • Controle su estado de salud. HEC

  • Si usa la transformación de datos, asegúrese de que la función de Lambda nunca devuelva respuestas cuyo tamaño de carga sea superior a 6 MB. Para obtener más información, consulte Amazon Data FirehoseData Transformation.

  • Asegúrese de que el parámetro Splunk denominado ackIdleCleanup se establece en true. Su valor predeterminado es false. Para establecer este parámetro en true, haga lo siguiente:

    • Para una implementación de Splunk Cloud administrada, envíe un caso utilizando el portal de soporte de Splunk. En este caso, pídele al servicio de asistencia de Splunk que habilite el recopilador de HTTP eventosinputs.conf, configure ackIdleCleanup y cree o modifique un balanceador de carga para usarlo con este complemento. true

    • Para efectuar una implementación distribuida de Splunk Enterprise, establezca el parámetro ackIdleCleanup en true en el archivo inputs.conf. Para los usuarios de *nix, este archivo se encuentra en $SPLUNK_HOME/etc/apps/splunk_httpinput/local/. Para los usuarios de Windows, se encuentra en %SPLUNK_HOME%\etc\apps\splunk_httpinput\local\.

    • Para efectuar una implementación de una sola instancia de Splunk Enterprise, establezca el parámetro ackIdleCleanup en true en el archivo inputs.conf. Para los usuarios de *nix, este archivo se encuentra en $SPLUNK_HOME/etc/apps/splunk_httpinput/local/. Para los usuarios de Windows, se encuentra en %SPLUNK_HOME%\etc\apps\splunk_httpinput\local\.

  • Asegúrese de que la IAM función especificada en la transmisión de Firehose pueda acceder al depósito de respaldo de S3 y a la función Lambda para la transformación de datos (si la transformación de datos está habilitada). Además, asegúrate de que el IAM rol tenga acceso al grupo de CloudWatch registros y a las secuencias de registros para comprobar los registros de errores. Para obtener más información, consulte Concesión FirehoseAccess a un destino de Splunk.

  • Para volver a enviar a Splunk los datos que se enviaron al depósito de errores de S3 (copia de seguridad de S3), siga los pasos que se mencionan en la documentación de Splunk.

  • Consulte Troubleshoot the Splunk Add-on for Amazon Kinesis Firehose.