Configurar los ajustes de destino - Amazon Data Firehose
Configurar los ajustes de destino para Amazon S3Configure los ajustes de destino para las tablas Apache IcebergConfigurar los ajustes de destino de Amazon RedshiftConfigure los ajustes de destino del servicio OpenSearch Configure los ajustes de destino para Serverless OpenSearch Configure los ajustes de destino para Endpoint HTTPConfigura los ajustes de destino para DatadogConfigure los ajustes de destino para HoneycombConfigure los ajustes de destino para CoralogixConfigure los ajustes de destino para DynatraceConfigure los ajustes de destino para LogicMonitorConfigure los ajustes de destino para Logz.ioConfigurar los ajustes de destino para MongoDB CloudConfigure los ajustes de destino de New RelicConfigure los ajustes de destino para SnowflakeConfigure los ajustes de destino para SplunkConfigure los ajustes de destino para Splunk Observability CloudConfigure los ajustes de destino para Sumo LogicConfigura los ajustes de destino para Elastic

La entrega de transmisiones de Amazon Data Firehose a Apache Iceberg Tables en Amazon S3 está en versión preliminar y está sujeta a cambios.

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configurar los ajustes de destino

En esta sección se describen los ajustes que debe configurar para su transmisión Firehose en función del destino que seleccione.

Configurar los ajustes de destino para Amazon S3

Debe especificar los siguientes ajustes para poder utilizar Amazon S3 como destino de su transmisión de Firehose.

  • Escriba valores en los siguientes campos:

    S3 bucket

    Seleccione el bucket de S3 de su propiedad adonde se deben entregar los datos de streaming. Puede crear un bucket de S3 nuevo o elegir uno disponible.

    Delimitador de nueva línea

    Puede configurar su transmisión Firehose para añadir un nuevo delimitador de líneas entre los registros de los objetos que se envían a Amazon S3. Para ello, elija Habilitado. Para no agregar un delimitador de nueva línea entre los registros de los objetos que se entregan en Amazon S3, seleccione Deshabilitado. Si planea usar Athena para consultar objetos de S3 con registros agregados, active esta opción.

    Particionamiento dinámico

    Seleccione Habilitado para habilitar y configurar el particionamiento dinámico.

    Desagregación de varios registros

    Este es el proceso de analizar los registros del flujo Firehose y separarlos en función del delimitador de línea nuevo o JSON válido especificado.

    Si agregas varios eventos, registros o registros en una sola PutRecordBatch API llamada, puedes habilitar PutRecord y configurar la partición dinámica. Con los datos agregados, cuando habilita la partición dinámica, Amazon Data Firehose analiza los registros y busca varios objetos JSON válidos en cada llamada. API Si la transmisión de Firehose está configurada con Kinesis Data Stream como fuente, también puede utilizar la agregación integrada en la biblioteca de productores de Kinesis (). KPL La funcionalidad de partición de datos se ejecuta después de desagregar los datos. Por lo tanto, cada registro de cada API llamada se puede enviar a distintos prefijos de Amazon S3. También puede aprovechar la integración de la función Lambda para realizar cualquier otra desagregación o transformación antes de la funcionalidad de particionamiento de datos.

    importante

    Si sus datos están agregados, el particionamiento dinámico solo se puede aplicar una vez completada la desagregación de los datos. Por lo tanto, si habilita el particionamiento dinámico en sus datos agregados, debe seleccionar Habilitado para habilitar la desagregación de varios registros.

    Firehose Stream realiza los siguientes pasos de procesamiento en el siguiente orden: desagregación KPL (protobuf) o desagregación de JSON delimitadores, procesamiento Lambda, particionamiento de datos, conversión de formatos de datos y entrega a Amazon S3.

    Tipo de desagregación de varios registros

    Si has activado la desagregación de varios registros, debes especificar el método para que Firehose desagregue los datos. Usa el menú desplegable para elegir entre Delimitado o Delimitado JSON.

    Análisis en línea

    Este es uno de los mecanismos admitidos para particionar dinámicamente los datos vinculados a Amazon S3. A fin de usar el análisis en línea para el particionamiento dinámico de sus datos, debe especificar los parámetros de registro de datos que se utilizarán como claves de particionamiento y proporcionar un valor para cada clave de particionamiento especificada. Seleccione Habilitado para habilitar y configurar el análisis en línea.

    importante

    Si especificó un AWS Función Lambda En los pasos anteriores para transformar sus registros fuente, puede usar esta función para particionar dinámicamente los datos enlazados a S3 y aún puede crear sus claves de partición con el análisis en línea. Con el particionamiento dinámico, puede utilizar el análisis en línea o su AWS Función Lambda para crear tus claves de particionamiento. O puede utilizar tanto el análisis en línea como su AWS Función Lambda al mismo tiempo para crear tus claves de particionamiento.

    Claves de particionamiento dinámico

    Puede usar los campos Clave y Valor para especificar los parámetros de registro de datos que se utilizarán como claves de particionamiento dinámico y las consultas jq para generar valores de claves de particionamiento dinámico. Firehose solo es compatible con jq 1.6. Puede especificar hasta 50 claves de particionamiento dinámico. Debes introducir expresiones jq válidas para tus valores clave de particionamiento dinámico a fin de configurar correctamente el particionamiento dinámico para tu transmisión de Firehose.

    Prefijo de bucket de S3

    Al habilitar y configurar el particionamiento dinámico, debe especificar los prefijos del bucket S3 a los que Amazon Data Firehose entregará los datos particionados.

    Para que el particionamiento dinámico se configure correctamente, el número de prefijos de bucket de S3 debe ser idéntico al número de claves de particionamiento especificadas.

    Puede particionar los datos de origen con el análisis en línea o con los que especifique AWS Función Lambda. Si especificó una AWS Función Lambda Para crear claves de partición para los datos de origen, debe escribir manualmente los valores del prefijo del bucket S3 con el siguiente formato: "lambda:keyID». partitionKeyFrom Si utiliza el análisis en línea para especificar las claves de partición para sus datos de origen, puede escribir manualmente los valores de vista previa del bucket de S3 con el siguiente formato: «partitionKeyFromquery:keyID» o puede elegir el botón Aplicar claves de partición dinámica para utilizar sus pares clave/valor de particionamiento dinámico para generar automáticamente los prefijos de su bucket de S3. Al particionar los datos mediante el análisis en línea o AWS Lambda, también puede usar las siguientes formas de expresión en el prefijo de su bucket de S3:! {namespace:value}, donde el espacio de nombres puede ser Query o Lambda. partitionKeyFrom partitionKeyFrom

    El bucket S3 y el error S3 generan una zona horaria con prefijo

    Elija la zona horaria que desee usar para la fecha y la hora en los prefijos personalizados de los objetos de Amazon S3. De forma predeterminada, Firehose añade un prefijo de hora. UTC Puede cambiar la zona horaria utilizada en los prefijos de S3 si desea utilizar una zona horaria diferente.

    Sugerencias de almacenamiento en búfer

    Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

    Compresión S3

    Elija entre GZIP compresión de datos Snappy, Zip o Snappy compatible con Hadoop, o sin compresión de datos. La compresión Snappy compatible con Snappy, Zip y Hadoop no está disponible para las transmisiones de Firehose con Amazon Redshift como destino.

    Formato de extensión de archivo S3 (opcional)

    Especifique un formato de extensión de archivo para los objetos entregados al bucket de destino de Amazon S3. Si habilita esta función, la extensión de archivo especificada anulará las extensiones de archivo predeterminadas incorporadas por las funciones de conversión de formato de datos o de compresión de S3, como .parquet o .gz. Asegúrese de haber configurado la extensión de archivo correcta cuando utilice esta función con la conversión de formato de datos o la compresión S3. La extensión del archivo debe empezar con un punto (.) y puede contener los caracteres permitidos: 0-9a-z! -_.*' (). La extensión del archivo no puede superar los 128 caracteres.

    Cifrado S3

    Firehose admite el cifrado del lado del servidor de Amazon S3 con AWS Key Management Service (SSE-KMS) para cifrar los datos entregados en Amazon S3. Puede optar por utilizar el tipo de cifrado predeterminado especificado en el bucket S3 de destino o cifrar con una clave de la lista de AWS KMS claves de las que eres propietario. Si cifra los datos con AWS KMS claves, puede usar cualquiera de las dos claves predeterminadas AWS clave administrada (aws/s3) o una clave administrada por el cliente. Para obtener más información, consulte Protección de datos mediante el cifrado del lado del servidor con AWS KMS-Claves administradas (SSE-). KMS

Configure los ajustes de destino para las tablas Apache Iceberg

Las tablas Apache Iceberg como destino están disponibles en EE. UU. Este (Norte de Virginia), EE. UU. Oeste (Oregón), Europa (Irlanda), Asia-Pacífico (Tokio), Canadá (Central) y Asia Pacífico (Sídney) Regiones de AWS.

Para obtener más información sobre las tablas Apache Iceberg como destino, consulte. Entregue datos a Apache Iceberg Tables con Amazon Data Firehose

Configurar los ajustes de destino de Amazon Redshift

En esta sección se describe la configuración para usar Amazon Redshift como destino de transmisión de Firehose.

Elija uno de los siguientes procedimientos en función de si tiene un clúster aprovisionado de Amazon Redshift o un grupo de trabajo de Amazon Redshift sin servidor.

Clúster aprovisionado de Amazon Redshift

En esta sección se describe la configuración para usar el clúster aprovisionado de Amazon Redshift como destino de transmisión de Firehose.

  • Escriba valores en los siguientes campos:

    Clúster

    Clúster de Amazon Redshift en el que se copian los datos del bucket de S3. Configure el clúster de Amazon Redshift para que sea de acceso público y desbloquee las direcciones IP de Amazon Data Firehose. Para obtener más información, consulte Otorgue a Firehose acceso a un destino de Amazon Redshift .

    Autenticación

    Puede elegir entre introducir el nombre de usuario y la contraseña directamente o recuperar el secreto de AWS Secrets Manager para acceder al clúster de Amazon Redshift.

    • Nombre de usuario

      Especifique un usuario de Amazon Redshift con permisos para acceder al clúster de Amazon Redshift. Este usuario debe tener el permiso INSERT de Amazon Redshift para copiar datos del bucket de S3 en el clúster de Amazon Redshift.

    • Contraseña

      Especifique la contraseña del usuario que tiene permisos para acceder al clúster.

    • Secret

      Seleccione un secreto de AWS Secrets Manager que contiene las credenciales del clúster de Amazon Redshift. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager para sus credenciales de Amazon Redshift. Para obtener más información, consulte Autenticarse con AWS Secrets Manager en Amazon Data Firehose.

    Base de datos

    Base de datos de Amazon Redshift en la que se copian los datos.

    Tabla

    Tabla de Amazon Redshift en la que se copian los datos.

    Columnas

    Las columnas específicas de la tabla donde se copian los datos (opcional). Utilice esta opción si la cantidad de columnas definida en los objetos de Amazon S3 es menor que la cantidad de columnas en la tabla Amazon Redshift.

    Destino de S3 intermedio

    Firehose envía primero los datos a su bucket de S3 y, a continuación, emite un comando de Amazon COPY Redshift para cargar los datos en su clúster de Amazon Redshift. Especifique el bucket de S3 de su propiedad adonde se deben entregar los datos de streaming. Cree un nuevo bucket de S3 o elija uno que le pertenezca.

    Firehose no elimina los datos del bucket de S3 después de cargarlos en el clúster de Amazon Redshift. Puede administrar los datos en el bucket de S3 utilizando una configuración del ciclo de vida. Para obtener más información, consulte Administración del ciclo de vida de los objetos en la Guía del usuario de Amazon Simple Storage Service.

    Prefijo de S3 intermedio

    (Opcional) Para utilizar el prefijo predeterminado de los objetos de Amazon S3, deje esta opción en blanco. Firehose utiliza automáticamente un prefijo en formato de UTC hora «YYYY/MM/dd/HH» para los objetos de Amazon S3 entregados. Puede añadir más elementos al comienzo de este prefijo. Para obtener más información, consulte Configurar el formato de nombre de objeto de Amazon S3.

    COPYopciones

    Parámetros que puede especificar en el comando COPY de Amazon Redshift. Podrían ser necesarios para la configuración. Por ejemplo, se requiere GZIP «» si la compresión de datos de Amazon S3 está habilitada. Se requiere REGION «» si el bucket de S3 no está en el mismo AWS Región como clúster de Amazon Redshift. Para obtener más información, consulte la COPYGuía para desarrolladores de bases de datos Amazon Redshift.

    COPYcomando

    Comando COPY de Amazon Redshift. Para obtener más información, consulte la COPYGuía para desarrolladores de bases de datos Amazon Redshift.

    Retry duration

    Tiempo (0—7200 segundos) para que Firehose vuelva a intentarlo si fallan los datos del clúster de COPY Amazon Redshift. Firehose lo vuelve a intentar cada 5 minutos hasta que finalice la duración del reintento. Si estableces la duración del reintento en 0 (cero) segundos, Firehose no volverá a intentarlo si se produce un error en COPY el comando.

    Sugerencias de almacenamiento en búfer

    Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

    Compresión S3

    Elija entre GZIP compresión de datos Snappy, Zip o Snappy compatible con Hadoop, o sin compresión de datos. La compresión Snappy compatible con Snappy, Zip y Hadoop no está disponible para las transmisiones de Firehose con Amazon Redshift como destino.

    Formato de extensión de archivo S3 (opcional)

    Formato de extensión de archivo S3 (opcional): especifique un formato de extensión de archivo para los objetos entregados al bucket de destino de Amazon S3. Si habilita esta función, la extensión de archivo especificada anulará las extensiones de archivo predeterminadas incorporadas por las funciones de conversión de formato de datos o de compresión de S3, como .parquet o .gz. Asegúrese de haber configurado la extensión de archivo correcta cuando utilice esta función con la conversión de formato de datos o la compresión S3. La extensión del archivo debe empezar con un punto (.) y puede contener los caracteres permitidos: 0-9a-z! -_.*' (). La extensión del archivo no puede superar los 128 caracteres.

    Cifrado S3

    Firehose admite el cifrado del lado del servidor de Amazon S3 con AWS Key Management Service (SSE-KMS) para cifrar los datos entregados en Amazon S3. Puede optar por utilizar el tipo de cifrado predeterminado especificado en el bucket S3 de destino o cifrar con una clave de la lista de AWS KMS claves de las que eres propietario. Si cifra los datos con AWS KMS claves, puede usar cualquiera de las dos claves predeterminadas AWS clave administrada (aws/s3) o una clave administrada por el cliente. Para obtener más información, consulte Protección de datos mediante el cifrado del lado del servidor con AWS KMS-Claves administradas (SSE-). KMS

Configurar los ajustes de destino para el grupo de trabajo Amazon Redshift Serverless

En esta sección se describe la configuración para usar el grupo de trabajo Amazon Redshift Serverless como destino de transmisión de Firehose.

  • Escriba valores en los siguientes campos:

    Nombre del grupo de trabajo

    El grupo de trabajo de Amazon Redshift sin servidor en el que se copian los datos del bucket de S3. Configure el grupo de trabajo Amazon Redshift Serverless para que sea de acceso público y desbloquee las direcciones IP de Firehose. Para obtener más información, consulte la sección Conectarse a una instancia de Amazon Redshift sin servidor accesible públicamente en Conexión a Amazon Redshift sin servidor y también Otorgue a Firehose acceso a un destino de Amazon Redshift .

    Autenticación

    Puede elegir entre introducir el nombre de usuario y la contraseña directamente o recuperar el secreto de AWS Secrets Manager para acceder al grupo de trabajo Amazon Redshift Serverless.

    • Nombre de usuario

      Especifique un usuario de Amazon Redshift con permisos para acceder al grupo de trabajo Amazon Redshift Serverless. Este usuario debe tener el permiso INSERT de Amazon Redshift para copiar datos del bucket de S3 en el grupo de trabajo de Amazon Redshift sin servidor.

    • Contraseña

      Especifique la contraseña del usuario que tiene permisos para acceder al grupo de trabajo Amazon Redshift Serverless.

    • Secret

      Seleccione un secreto de AWS Secrets Manager que contiene las credenciales del grupo de trabajo Amazon Redshift Serverless. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager para sus credenciales de Amazon Redshift. Para obtener más información, consulte Autenticarse con AWS Secrets Manager en Amazon Data Firehose.

    Base de datos

    Base de datos de Amazon Redshift en la que se copian los datos.

    Tabla

    Tabla de Amazon Redshift en la que se copian los datos.

    Columnas

    Las columnas específicas de la tabla donde se copian los datos (opcional). Utilice esta opción si la cantidad de columnas definida en los objetos de Amazon S3 es menor que la cantidad de columnas en la tabla Amazon Redshift.

    Destino de S3 intermedio

    Amazon Data Firehose entrega primero los datos a su bucket de S3 y, a continuación, emite un comando de Amazon COPY Redshift para cargar los datos en su grupo de trabajo Amazon Redshift Serverless. Especifique el bucket de S3 de su propiedad adonde se deben entregar los datos de streaming. Cree un nuevo bucket de S3 o elija uno que le pertenezca.

    Firehose no elimina los datos del bucket de S3 después de cargarlos en el grupo de trabajo Amazon Redshift Serverless. Puede administrar los datos en el bucket de S3 utilizando una configuración del ciclo de vida. Para obtener más información, consulte Administración del ciclo de vida de los objetos en la Guía del usuario de Amazon Simple Storage Service.

    Prefijo de S3 intermedio

    (Opcional) Para utilizar el prefijo predeterminado de los objetos de Amazon S3, deje esta opción en blanco. Firehose utiliza automáticamente un prefijo en formato de UTC hora «YYYY/MM/dd/HH» para los objetos de Amazon S3 entregados. Puede añadir más elementos al comienzo de este prefijo. Para obtener más información, consulte Configurar el formato de nombre de objeto de Amazon S3.

    COPYopciones

    Parámetros que puede especificar en el comando COPY de Amazon Redshift. Podrían ser necesarios para la configuración. Por ejemplo, se requiere GZIP «» si la compresión de datos de Amazon S3 está habilitada. Se requiere REGION «» si el bucket de S3 no está en el mismo AWS Región como grupo de trabajo Amazon Redshift Serverless. Para obtener más información, consulte la COPYGuía para desarrolladores de bases de datos Amazon Redshift.

    COPYcomando

    Comando COPY de Amazon Redshift. Para obtener más información, consulte la COPYGuía para desarrolladores de bases de datos Amazon Redshift.

    Retry duration

    Tiempo (0—7200 segundos) para que Firehose vuelva a intentarlo si fallan los datos de su grupo de trabajo COPY Amazon Redshift Serverless. Firehose lo vuelve a intentar cada 5 minutos hasta que finalice la duración del reintento. Si estableces la duración del reintento en 0 (cero) segundos, Firehose no volverá a intentarlo si se produce un error en COPY el comando.

    Sugerencias de almacenamiento en búfer

    Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

    Compresión S3

    Elija entre GZIP compresión de datos Snappy, Zip o Snappy compatible con Hadoop, o sin compresión de datos. La compresión Snappy compatible con Snappy, Zip y Hadoop no está disponible para las transmisiones de Firehose con Amazon Redshift como destino.

    Formato de extensión de archivo S3 (opcional)

    Formato de extensión de archivo S3 (opcional): especifique un formato de extensión de archivo para los objetos entregados al bucket de destino de Amazon S3. Si habilita esta función, la extensión de archivo especificada anulará las extensiones de archivo predeterminadas incorporadas por las funciones de conversión de formato de datos o de compresión de S3, como .parquet o .gz. Asegúrese de haber configurado la extensión de archivo correcta cuando utilice esta función con la conversión de formato de datos o la compresión S3. La extensión del archivo debe empezar con un punto (.) y puede contener los caracteres permitidos: 0-9a-z! -_.*' (). La extensión del archivo no puede superar los 128 caracteres.

    Cifrado S3

    Firehose admite el cifrado del lado del servidor de Amazon S3 con AWS Key Management Service (SSE-KMS) para cifrar los datos entregados en Amazon S3. Puede optar por utilizar el tipo de cifrado predeterminado especificado en el bucket S3 de destino o cifrar con una clave de la lista de AWS KMS claves de las que eres propietario. Si cifra los datos con AWS KMS claves, puede usar cualquiera de las dos claves predeterminadas AWS clave administrada (aws/s3) o una clave administrada por el cliente. Para obtener más información, consulte Protección de datos mediante el cifrado del lado del servidor con AWS KMS-Claves administradas (SSE-). KMS

Configure los ajustes de destino del servicio OpenSearch

En esta sección se describen las opciones para usar el OpenSearch Servicio en su destino.

  • Escriba valores en los siguientes campos:

    OpenSearch Dominio de servicio

    El dominio de OpenSearch servicio al que se envían sus datos.

    Índice

    El nombre del índice de OpenSearch servicios que se utilizará al indexar los datos en su clúster OpenSearch de servicios.

    Index rotation

    Elija si se debe rotar el índice OpenSearch de servicios y con qué frecuencia. Si la rotación de índices está habilitada, Amazon Data Firehose añade la marca de tiempo correspondiente al nombre del índice especificado y rota. Para obtener más información, consulte Configura la rotación del índice para el servicio OpenSearch .

    Tipo

    El nombre del tipo de OpenSearch servicio que se utilizará al indexar los datos en su clúster de servicios. OpenSearch Para Elasticsearch 7.x y OpenSearch 1.x, solo puede haber un tipo por índice. Si intentas especificar un tipo nuevo para un índice existente que ya tiene otro tipo, Firehose devuelve un error durante el tiempo de ejecución.

    Para Elasticsearch 7.x, deje este campo vacío.

    Retry duration

    Tiempo que tarda Firehose en volver a intentarlo si se produce un error en una solicitud de indexación. OpenSearch En este caso, Firehose lo vuelve a intentar cada 5 minutos hasta que caduque la duración del reintento. Para la duración del reintento, puedes establecer cualquier valor entre 0 y 7200 segundos.

    Una vez transcurrido el tiempo de reintento, Firehose envía los datos a Dead Letter Queue DLQ (), un depósito de errores de S3 configurado. En el caso de los datos enviados aDLQ, hay que volver a llevarlos del depósito de errores de S3 configurado al destino. OpenSearch

    Si quieres impedir que Firehose Stream entregue datos DLQ debido a un tiempo de inactividad o al mantenimiento de OpenSearch los clústeres, puedes configurar la duración del reintento con un valor superior en segundos. Para aumentar el valor de duración del reintento por encima de los 7200 segundos, ponte en contacto con el AWS soporte.

    Tipo de DocumentID

    Indica el método para configurar el ID de documento. Los métodos admitidos son el ID de documento generado por FireHose y el ID de documento generado por el OpenSearch servicio. El identificador del documento generado por Firehose es la opción predeterminada cuando el valor del identificador del documento no está establecido. OpenSearch La opción recomendada es el identificador de documento generado por el servicio, ya que permite realizar operaciones de escritura intensiva, como el análisis y la observabilidad de los registros, por lo que consume menos CPU recursos en el dominio del OpenSearch servicio y, por lo tanto, mejora el rendimiento.

    Conectividad de destino VPC

    Si su dominio de OpenSearch servicio es privadoVPC, utilice esta sección para especificarloVPC. Especifique también las subredes y subgrupos que desea que Amazon Data Firehose utilice cuando envíe datos a su dominio de servicio. OpenSearch Puede usar los mismos grupos de seguridad que usa el dominio del OpenSearch servicio. Si especifica diferentes grupos de seguridad, asegúrese de que permitan el HTTPS tráfico saliente al grupo de seguridad del dominio de OpenSearch servicio. Asegúrese también de que el grupo de seguridad del dominio de OpenSearch servicio permita el HTTPS tráfico de los grupos de seguridad que especificó al configurar la transmisión de Firehose. Si utilizas el mismo grupo de seguridad tanto para la transmisión de Firehose como para el dominio de OpenSearch servicio, asegúrate de que la regla de entrada del grupo de seguridad permita el tráfico. HTTPS Para obtener más información sobre las reglas de grupos de seguridad, consulta Reglas de grupos de seguridad en la VPC documentación de Amazon.

    importante

    Cuando especifique subredes para entregar datos al destino en un entorno privadoVPC, asegúrese de tener un número suficiente de direcciones IP libres en las subredes elegidas. Si no hay una dirección IP gratuita disponible en una subred específica, Firehose no podrá crear ni ENIs añadir para la entrega de datos en la red VPC privada, y la entrega se degradará o fallará.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

Configure los ajustes de destino para Serverless OpenSearch

En esta sección se describen las opciones para usar OpenSearch Serverless como destino.

  • Escriba valores en los siguientes campos:

    OpenSearch Colección sin servidor

    El punto final de un grupo de índices OpenSearch sin servidor al que se envían los datos.

    Índice

    El nombre del índice OpenSearch Serverless que se utilizará al indexar los datos para su colección Serverless. OpenSearch

    VPCConectividad de destino

    Si su colección OpenSearch Serverless está en un entorno privadoVPC, utilice esta sección para especificarlo. VPC Especifique también las subredes y subgrupos que desea que Amazon Data Firehose utilice cuando envíe datos a su colección Serverless. OpenSearch

    importante

    Cuando especifique subredes para entregar los datos al destino en un entorno privadoVPC, asegúrese de tener un número suficiente de direcciones IP libres en las subredes elegidas. Si no hay una dirección IP gratuita disponible en una subred específica, Firehose no podrá crear ni ENIs añadir para la entrega de datos en la red VPC privada, y la entrega se degradará o fallará.

    Retry duration

    Tiempo que tarda Firehose en volver a intentarlo si se produce un error en una solicitud de índice a OpenSearch Serverless. En este caso, Firehose lo vuelve a intentar cada 5 minutos hasta que caduque la duración del reintento. Para la duración del reintento, puedes establecer cualquier valor entre 0 y 7200 segundos.

    Una vez transcurrido el tiempo de reintento, Firehose envía los datos a Dead Letter Queue DLQ (), un depósito de errores de S3 configurado. En el caso de los datos enviados aDLQ, debes volver a llevarlos del depósito de errores de S3 configurado a un destino sin servidor. OpenSearch

    Si quieres impedir que Firehose Stream entregue datos DLQ debido a un tiempo de inactividad o al mantenimiento de los clústeres OpenSearch sin servidor, puedes configurar la duración del reintento con un valor superior en segundos. Para aumentar el valor de duración del reintento por encima de los 7200 segundos, ponte en contacto con el AWS soporte.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

Configure los ajustes de destino para Endpoint HTTP

En esta sección, se describen las opciones para usar el HTTPpunto final como destino.

importante

Si elige un HTTP punto final como destino, revise y siga las instrucciones que se indican en élComprenda las especificaciones de solicitud y respuesta de entrega de HTTP terminales.

  • Proporcione valores para los siguientes campos:

    HTTPnombre del punto final: opcional

    Especifique un nombre fácil de usar para el HTTP punto final. Por ejemplo, My HTTP Endpoint Destination.

    HTTPpunto final URL

    Especifique el URL para el HTTP punto final en el siguiente formato:https://xyz.httpendpoint.com. URLDebe ser un HTTPSURL.

    Autenticación

    Puede elegir entre introducir la clave de acceso directamente o recuperar el secreto de AWS Secrets Manager para acceder al HTTP punto final.

    • Clave de acceso (opcional)

      Ponte en contacto con el propietario del terminal si necesitas obtener la clave de acceso para permitir la entrega de datos a su punto final desde Firehose.

    • Secret

      Seleccione un secreto de AWS Secrets Manager que contenga la clave de acceso del HTTP punto final. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager para la clave de acceso. Para obtener más información, consulte Autenticarse con AWS Secrets Manager en Amazon Data Firehose.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenido para comprimir el cuerpo de una solicitud antes de enviarla al destino. Seleccione GZIPo desactive para activar o desactivar la codificación del contenido de su solicitud.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose volverá a intentar enviar los datos al punto de conexión seleccionado. HTTP

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo del punto de conexión. HTTP Si se produce un error o el acuse de recibo no llega dentro del tiempo de espera del acuse de recibo, Amazon Data Firehose inicia el contador de duración de los reintentos. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error en la entrega de datos y realiza una copia de seguridad de los datos en su bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto final (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto final lo confirme. HTTP

    Incluso si la duración del reintento vence, Amazon Data Firehose seguirá esperando el acuse de recibo hasta que lo reciba o se agote el tiempo de espera del acuse de recibo. Si se agota el tiempo de espera de la confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintentos. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no quieres que Amazon Data Firehose vuelva a intentar enviar datos, establece este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

    importante

    Para los destinos de HTTP punto final, si ves 413 códigos de respuesta del punto final de destino en CloudWatch Logs, reduce el tamaño de la sugerencia de almacenamiento en búfer en tu transmisión de Firehose e inténtalo de nuevo.

Configura los ajustes de destino para Datadog

En esta sección se describen las opciones de uso de Datadog como destino. Para obtener más información sobre Datadog, consulte amazon_web_services/. https://docs.datadoghq.com/integrations/

  • Proporcione valores para los siguientes campos.

    HTTPpunto final URL

    Elija dónde quiere enviar los datos desde una de las siguientes opciones del menú desplegable.

    • Registros de Datadog - US1

    • Registros de Datadog - US3

    • Registros de Datadog - US5

    • Registros de Datadog - AP1

    • Registros de Datadog: UE

    • Registros de Datadog - GOV

    • Métricas de Datadog: EE. UU.

    • Métricas de Datadog - US5

    • Métricas de Datadog - AP1

    • Métricas de Datadog: UE

    • Configuraciones de Datadog - US1

    • Configuraciones de Datadog - US3

    • Configuraciones de Datadog - US5

    • Configuraciones de Datadog - AP1

    • Configuraciones de Datadog: UE

    • Configuraciones de Datadog: EE. UU. GOV

    Autenticación

    Puede elegir entre introducir la API clave directamente o recuperar el secreto de AWS Secrets Manager para acceder a Datadog.

    • APIclave

      Póngase en contacto con Datadog para obtener la API clave que necesita para permitir la entrega de datos a este punto final desde Firehose.

    • Secret

      Seleccione un secreto de AWS Secrets Manager que contiene la API clave de Datadog. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulteAutenticarse con AWS Secrets Manager en Amazon Data Firehose.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenido para comprimir el cuerpo de una solicitud antes de enviarla al destino. Seleccione GZIPo desactive para activar o desactivar la codificación del contenido de su solicitud.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose volverá a intentar enviar los datos al punto de conexión seleccionado. HTTP

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo del punto de conexión. HTTP Si se produce un error o el acuse de recibo no llega dentro del tiempo de espera del acuse de recibo, Amazon Data Firehose inicia el contador de duración de los reintentos. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error en la entrega de datos y realiza una copia de seguridad de los datos en su bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto final (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto final lo confirme. HTTP

    Incluso si la duración del reintento vence, Amazon Data Firehose seguirá esperando el acuse de recibo hasta que lo reciba o se agote el tiempo de espera del acuse de recibo. Si se agota el tiempo de espera de la confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintentos. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no quieres que Amazon Data Firehose vuelva a intentar enviar datos, establece este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

Configure los ajustes de destino para Honeycomb

En esta sección se describen las opciones de uso de Honeycomb como destino. Para obtener más información sobre Honeycomb, consulte https://docs.honeycomgetting-data-inb.io/ /metrics//. aws-cloudwatch-metrics

  • Proporcione valores para los siguientes campos:

    Punto de conexión entre Honeycomb y Kinesis

    Especifique el formato URL para el HTTP punto final en el siguiente formato: https://api.honeycom b.io/1/kinesis_events/ {{dataset}}

    Autenticación

    Puede elegir entre introducir la clave directamente o recuperar el secreto de API AWS Secrets Manager para acceder a Honeycomb.

    • APIclave

      Póngase en contacto con Honeycomb para obtener la API clave que necesita para permitir la entrega de datos a este punto final desde Firehose.

    • Secret

      Seleccione un secreto de AWS Secrets Manager que contiene la API clave de Honeycomb. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulteAutenticarse con AWS Secrets Manager en Amazon Data Firehose.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenido para comprimir el cuerpo de una solicitud antes de enviarla al destino. Elija GZIPhabilitar la codificación del contenido de su solicitud. Esta es la opción recomendada para el destino de Honeycomb.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose volverá a intentar enviar los datos al punto de conexión seleccionado. HTTP

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo del punto de conexión. HTTP Si se produce un error o el acuse de recibo no llega dentro del tiempo de espera del acuse de recibo, Amazon Data Firehose inicia el contador de duración de los reintentos. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error en la entrega de datos y realiza una copia de seguridad de los datos en su bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto final (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto final lo confirme. HTTP

    Incluso si la duración del reintento vence, Amazon Data Firehose seguirá esperando el acuse de recibo hasta que lo reciba o se agote el tiempo de espera del acuse de recibo. Si se agota el tiempo de espera de la confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintentos. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no quieres que Amazon Data Firehose vuelva a intentar enviar datos, establece este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

Configure los ajustes de destino para Coralogix

En esta sección se describen las opciones de uso de Coralogix como destino. Para obtener más información sobre Coralogix, consulte Primeros pasos con Coralogix.

  • Proporcione valores para los siguientes campos:

    HTTPpunto final URL

    Elija el HTTP punto final URL entre las siguientes opciones del menú desplegable:

    • Coralogix: EE. UU.

    • Coralogix - SINGAPORE

    • Coralogix - IRELAND

    • Coralogix - INDIA

    • Coralogix - STOCKHOLM

    Autenticación

    Puede elegir entre introducir la clave privada directamente o recuperar el secreto de AWS Secrets Manager para acceder a Coralogix.

    • Clave privada

      Póngase en contacto con Coralogix para obtener la clave privada que necesita para permitir la entrega de datos a este punto final desde Firehose.

    • Secret

      Seleccione un secreto de AWS Secrets Manager que contiene la clave privada de Coralogix. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulteAutenticarse con AWS Secrets Manager en Amazon Data Firehose.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenido para comprimir el cuerpo de una solicitud antes de enviarla al destino. Elija GZIPhabilitar la codificación del contenido de su solicitud. Esta es la opción recomendada para el destino de Coralogix.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose volverá a intentar enviar los datos al punto de conexión seleccionado. HTTP

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo del punto de conexión. HTTP Si se produce un error o el acuse de recibo no llega dentro del tiempo de espera del acuse de recibo, Amazon Data Firehose inicia el contador de duración de los reintentos. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error en la entrega de datos y realiza una copia de seguridad de los datos en su bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto final (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto final lo confirme. HTTP

    Incluso si la duración del reintento vence, Amazon Data Firehose seguirá esperando el acuse de recibo hasta que lo reciba o se agote el tiempo de espera del acuse de recibo. Si se agota el tiempo de espera de la confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintentos. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no quieres que Amazon Data Firehose vuelva a intentar enviar datos, establece este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    • applicationName: el entorno en el que se ejecuta Data Firehose

    • subsystemName: el nombre de la integración de Data Firehose

    • computerName: el nombre del arroyo Firehose en uso

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. El tamaño de búfer recomendado para el destino varía en función del proveedor de servicios.

Configure los ajustes de destino para Dynatrace

En esta sección se describen las opciones de uso de Dynatrace como destino. Para obtener más información, consulte https://www.dynatrace.com/support/help/technology-support/cloud-platforms/ /integrations/ amazon-web-services. cloudwatch-metric-streams

  • Elige opciones para usar Dynatrace como destino para tu transmisión de Firehose.

    Tipo de ingestión

    Elija si quiere entregar métricas o registros (por defecto) en Dynatrace para su posterior análisis y procesamiento.

    HTTPpunto final URL

    Elija el HTTP punto final URL (Dynatrace US, Dynatrace EU o Dynatrace Global) en el menú desplegable.

    Autenticación

    Puedes elegir entre introducir el API token directamente o recuperar el secreto de AWS Secrets Manager para acceder a Dynatrace.

    • APItoken

      Genera el API token de Dynatrace que necesitas para habilitar la entrega de datos a este punto final desde Firehose. Para obtener más información, consulte Dynatrace API: Tokens y autenticación.

    • Secret

      Seleccione un secreto de AWS Secrets Manager que contiene el API token de Dynatrace. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulteAutenticarse con AWS Secrets Manager en Amazon Data Firehose.

    API URL

    Proporcione el API URL de su entorno de Dynatrace.

    Codificación de contenidos

    Elija si desea habilitar la codificación de contenido para comprimir el cuerpo de la solicitud. Amazon Data Firehose utiliza la codificación de contenido para comprimir el cuerpo de una solicitud antes de enviarla al destino. Cuando está habilitada, el contenido se comprime en ese GZIPformato.

    Retry duration

    Especifique durante cuánto tiempo Firehose volverá a intentar enviar los datos al punto final seleccionado. HTTP

    Tras enviar los datos, Firehose espera primero un acuse de recibo del punto final. HTTP Si se produce un error o el acuse de recibo no llega dentro del tiempo de espera del acuse de recibo, Firehose inicia el contador de duración de los reintentos. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Firehose considera que se trata de un error en la entrega de datos y realiza una copia de seguridad de los datos en su bucket de Amazon S3.

    Cada vez que Firehose envía datos al HTTP punto final, ya sea durante el intento inicial o después de volver a intentarlo, reinicia el contador de tiempo de espera de confirmación y espera un acuse de recibo del punto final. HTTP

    Incluso si la duración del reintento vence, Firehose seguirá esperando el acuse de recibo hasta que lo reciba o se agote el tiempo de espera del acuse de recibo. Si se agota el tiempo de espera de la confirmación, Firehose determina si queda tiempo en el contador de reintentos. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no quieres que Firehose vuelva a intentar enviar datos, establece este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. Las sugerencias del búfer incluyen el tamaño y el intervalo del búfer de las transmisiones. El tamaño de búfer recomendado para el destino varía según el proveedor de servicios.

Configure los ajustes de destino para LogicMonitor

En esta sección se describen las opciones que puede utilizar LogicMonitorpara su destino. Para obtener más información, consulte https://www.logicmonitor.com.

  • Proporcione valores para los siguientes campos:

    HTTPpunto final URL

    Especifique el URL para el HTTP punto final en el siguiente formato.

    https://ACCOUNT.logicmonitor.com
    Autenticación

    Puede elegir entre introducir la API clave directamente o recuperar el secreto de AWS Secrets Manager para acceder LogicMonitor.

    • APIclave

      Póngase en contacto con Firehose LogicMonitor para obtener la API clave que necesita para habilitar la entrega de datos a este punto final.

    • Secret

      Seleccione un secreto de AWS Secrets Manager que contiene la API clave de LogicMonitor. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulteAutenticarse con AWS Secrets Manager en Amazon Data Firehose.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenido para comprimir el cuerpo de una solicitud antes de enviarla al destino. Seleccione GZIPo desactive para activar o desactivar la codificación del contenido de su solicitud.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose volverá a intentar enviar los datos al punto de conexión seleccionado. HTTP

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo del punto de conexión. HTTP Si se produce un error o el acuse de recibo no llega dentro del tiempo de espera del acuse de recibo, Amazon Data Firehose inicia el contador de duración de los reintentos. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error en la entrega de datos y realiza una copia de seguridad de los datos en su bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto final (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto final lo confirme. HTTP

    Incluso si la duración del reintento vence, Amazon Data Firehose seguirá esperando el acuse de recibo hasta que lo reciba o se agote el tiempo de espera del acuse de recibo. Si se agota el tiempo de espera de la confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintentos. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no quieres que Amazon Data Firehose vuelva a intentar enviar datos, establece este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

Configure los ajustes de destino para Logz.io

En esta sección se describen las opciones de uso de Logz.io como destino. Para obtener más información, consulte https://logz.io/.

nota

En la región de Europa (Milán), Logz.io no es compatible como destino de Amazon Data Firehose.

  • Proporcione valores para los siguientes campos:

    HTTPpunto final URL

    Especifique el URL para el HTTP punto final en el siguiente formato. URLDebe ser un HTTPSURL.

    https://listener-aws-metrics-stream-<region>.logz.io/

    Por ejemplo

    https://listener-aws-metrics-stream-us.logz.io/
    Autenticación

    Puedes elegir entre introducir el token de envío directamente o recuperar el secreto de AWS Secrets Manager para acceder a Logz.io.

    • Token de envío

      Ponte en contacto con Logz.io para obtener el token de envío que necesitas para permitir la entrega de datos a este punto final desde Firehose.

    • Secret

      Selecciona un secreto de AWS Secrets Manager que contiene el token de envío de Logz.io. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulteAutenticarse con AWS Secrets Manager en Amazon Data Firehose.

    Retry duration

    Especifica durante cuánto tiempo Amazon Data Firehose vuelve a intentar enviar datos a Logz.io.

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo del punto de conexión. HTTP Si se produce un error o el acuse de recibo no llega dentro del tiempo de espera del acuse de recibo, Amazon Data Firehose inicia el contador de duración de los reintentos. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error en la entrega de datos y realiza una copia de seguridad de los datos en su bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto final (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto final lo confirme. HTTP

    Incluso si la duración del reintento vence, Amazon Data Firehose seguirá esperando el acuse de recibo hasta que lo reciba o se agote el tiempo de espera del acuse de recibo. Si se agota el tiempo de espera de la confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintentos. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no quieres que Amazon Data Firehose vuelva a intentar enviar datos, establece este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

Configurar los ajustes de destino para MongoDB Cloud

En esta sección se describen las opciones de uso de MongoDB Cloud como destino. Para obtener más información, consulte. https://www.mongodb.com

  • Proporcione valores para los siguientes campos:

    Webhook de MongoDB Realm URL

    Especifique el URL para el HTTP punto final en el siguiente formato.

     https://webhooks.mongodb-realm.com

    URLDebe ser un HTTPSURL.

    Autenticación

    Puede elegir entre introducir la API clave directamente o recuperar el secreto de AWS Secrets Manager para acceder a MongoDB Cloud.

    • APIclave

      Póngase en contacto con MongoDB Cloud para obtener API la clave que necesita para permitir la entrega de datos a este punto final desde Firehose.

    • Secret

      Seleccione un secreto de AWS Secrets Manager que contiene la API clave de MongoDB Cloud. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulteAutenticarse con AWS Secrets Manager en Amazon Data Firehose.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenido para comprimir el cuerpo de una solicitud antes de enviarla al destino. Seleccione GZIPo desactive para activar o desactivar la codificación del contenido de su solicitud.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose volverá a intentar enviar datos al proveedor externo seleccionado.

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo del punto de conexión. HTTP Si se produce un error o el acuse de recibo no llega dentro del tiempo de espera del acuse de recibo, Amazon Data Firehose inicia el contador de duración de los reintentos. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error en la entrega de datos y realiza una copia de seguridad de los datos en su bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto final (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto final lo confirme. HTTP

    Incluso si la duración del reintento vence, Amazon Data Firehose seguirá esperando el acuse de recibo hasta que lo reciba o se agote el tiempo de espera del acuse de recibo. Si se agota el tiempo de espera de la confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintentos. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no quieres que Amazon Data Firehose vuelva a intentar enviar datos, establece este valor en 0.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

Configure los ajustes de destino de New Relic

En esta sección se describen las opciones de uso de New Relic como destino. Para obtener más información, consulte https://newrelic.com.

  • Proporcione valores para los siguientes campos:

    HTTPpunto final URL

    Elija el HTTP punto final URL entre las siguientes opciones de la lista desplegable.

    • Registros de New Relic: EE. UU.

    • Métricas de New Relic: EE. UU.

    • Métricas de New Relic: UE

    Autenticación

    Puede elegir entre introducir la API clave directamente o recuperar el secreto de AWS Secrets Manager para acceder a New Relic.

    • APIclave

      Introduzca su clave de licencia, que es una cadena hexadecimal de 40 caracteres, en la configuración de su cuenta New Relic One. Necesita esta API clave para permitir la entrega de datos a este punto final desde Firehose.

    • Secret

      Seleccione un secreto de AWS Secrets Manager que contiene la API clave de New Relic. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulteAutenticarse con AWS Secrets Manager en Amazon Data Firehose.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenido para comprimir el cuerpo de una solicitud antes de enviarla al destino. Seleccione GZIPo desactive para activar o desactivar la codificación del contenido de su solicitud.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose vuelve a intentar enviar datos al punto final de New Relic. HTTP

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo del punto de conexión. HTTP Si se produce un error o el acuse de recibo no llega dentro del tiempo de espera del acuse de recibo, Amazon Data Firehose inicia el contador de duración de los reintentos. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error en la entrega de datos y realiza una copia de seguridad de los datos en su bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto final (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto final lo confirme. HTTP

    Incluso si la duración del reintento vence, Amazon Data Firehose seguirá esperando el acuse de recibo hasta que lo reciba o se agote el tiempo de espera del acuse de recibo. Si se agota el tiempo de espera de la confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintentos. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no quieres que Amazon Data Firehose vuelva a intentar enviar datos, establece este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

Configure los ajustes de destino para Snowflake

En esta sección se describen las opciones para usar Snowflake como destino.

nota

La integración de Firehose con Snowflake está disponible en EE. UU. Este (Virginia del Norte), EE. UU. Oeste (Oregón), Europa (Irlanda), EE. UU. Este (Ohio), Asia Pacífico (Tokio), Europa (Fráncfort), Asia Pacífico (Singapur), Asia Pacífico (Seúl) y Asia Pacífico (Sídney), Asia Pacífico (Bombay), Europa (Londres), Sudamérica (São Paulo), Canadá (Central), Europa (París), Asia Pacífico (Osaka), Europa (Estocolmo), Asia Pacífico (Yakarta) Regiones de AWS.

Ajustes de conexión

  • Proporcione valores para los siguientes campos:

    Cuenta Snowflake URL

    Especifique una cuenta de Snowflake. URL Por ejemplo: xy12345.us-east-1.aws.snowflakecomputing.com. Consulte la documentación de Snowflake para saber cómo determinar su cuenta. URL Tenga en cuenta que no debe especificar el número de puerto, mientras que el protocolo (https://) es opcional.

    Autenticación

    Puedes elegir entre introducir el nombre de usuario, la clave privada y la contraseña manualmente o recuperar el secreto de AWS Secrets Manager para acceder a Snowflake.

    • Inicio de sesión de usuario

      Especifique el usuario de Snowflake que se utilizará para cargar los datos. Asegúrese de que el usuario tiene acceso para insertar datos en la tabla Snowflake.

    • Clave privada

      Especifique la clave privada del usuario utilizada para la autenticación con Snowflake. Asegúrese de que la clave privada esté en PKCS8 formato. No incluya el PEM encabezado ni el pie de página como parte de esta clave. Si la clave está dividida en varias líneas, elimine los saltos de línea.

    • Contraseña

      Especifique la contraseña para descifrar la clave privada cifrada. Puede dejar este campo vacío si la clave privada no está cifrada. Para obtener más información, consulte Uso de la autenticación de pares de claves y la rotación de claves.

    • Secret

      Seleccione un secreto de AWS Secrets Manager que contenga las credenciales de Snowflake. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulteAutenticarse con AWS Secrets Manager en Amazon Data Firehose.

    Configuración de roles

    Usar el rol de Snowflake predeterminado: si se selecciona esta opción, Firehose no pasará ningún rol a Snowflake. Se asume que el rol predeterminado carga los datos. Asegúrese de que el rol predeterminado tenga permiso para insertar datos en la tabla de Snowflake.

    Usa un rol de copo de nieve personalizado: introduce un rol de copo de nieve no predeterminado para que lo asuma Firehose al cargar datos en la tabla de copos de nieve.

    Conectividad con Snowflake

    Las opciones son privadas o públicas.

    VPCEID privado (opcional)

    El VPCE identificador de Firehose para conectarse de forma privada con Snowflake. El formato de ID es com.amazonaws.vpce. [región] .vpce-svc-[id]Para obtener más información, consulte .AWS PrivateLink & Copo de nieve.

    nota

    Asegúrese de que su red Snowflake permita el acceso a Firehose. Le recomendamos que desactive la política de red basada en IP en su cuenta de Snowflake cuando la política de red AwsVpceIds basada en IP ya esté habilitada. Si activas la política de red basada en IP en Snowflake, podría bloquear el tráfico de datos de Firehose. Si tiene un caso extremo que requiere políticas basadas en IP, póngase en contacto con el equipo de Firehose enviando un ticket de soporte. Para obtener una lista de los VPCE IDs que puede utilizar, consulte la. Acceder a Snowflake en VPC

Configuración de las bases de datos

  • Debes especificar los siguientes ajustes para usar Snowflake como destino de tu transmisión Firehose.

    • Base de datos de Snowflake: todos los datos de Snowflake se guardan en bases de datos.

    • Esquema de Snowflake: cada base de datos consta de uno o más esquemas, que son agrupaciones lógicas de objetos de base de datos, como tablas y vistas

    • Tabla Snowflake: todos los datos de Snowflake se almacenan en tablas de bases de datos, estructuradas de forma lógica como conjuntos de columnas y filas.

Opciones de carga de datos para la tabla de Snowflake

  • Utilice JSON las claves como nombres de columna

  • Usa VARIANT columnas

    • Nombre de la columna de contenido: especifique un nombre de columna en la tabla, donde se deben cargar los datos sin procesar.

    • Nombre de la columna de metadatos (opcional): especifique un nombre de columna en la tabla, donde se debe cargar la información de los metadatos.

Retry duration

Tiempo (0—7200 segundos) para que Firehose vuelva a intentarlo si la apertura del canal o la entrega a Snowflake fallan debido a problemas con el servicio de Snowflake. Firehose lo vuelve a intentar con un retraso exponencial hasta que finalice la duración del reintento. Si estableces la duración del reintento en 0 (cero) segundos, Firehose no volverá a intentarlo en caso de que Snowflake falle y enrutará los datos al depósito de errores de Amazon S3.

Consejos sobre el búfer

Amazon Data Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro. Para obtener más información, consulte Configure las sugerencias de almacenamiento en búfer.

Configure los ajustes de destino para Splunk

Esta sección describe las opciones de uso de Splunk como destino.

nota

Firehose entrega los datos a los clústeres de Splunk configurados con Classic Load Balancer o Application Load Balancer.

  • Proporcione valores para los siguientes campos:

    Splunk cluster endpoint

    Para determinar el punto final, consulte Configurar Amazon Data Firehose para enviar datos a la plataforma Splunk en la documentación de Splunk.

    Splunk endpoint type

    Elija Raw endpoint en la mayoría de los casos. Elija Event endpoint si ha preprocesado sus datos utilizando AWS Lambda para enviar datos a diferentes índices por tipo de evento. Para obtener información sobre qué punto de conexión usar, consulte Configurar Amazon Data Firehose para enviar datos a la plataforma Splunk en la documentación de Splunk.

    Autenticación

    Puede elegir entre introducir el token de autenticación directamente o recuperar el secreto desde AWS Secrets Manager para acceder a Splunk.

    HECtiempo de espera de confirmación

    Especifique cuánto tiempo espera Amazon Data Firehose a que Splunk acuse de recibo del índice. Si Splunk no envía el acuse de recibo antes de que se agote el tiempo de espera, Amazon Data Firehose considerará que se trata de un error en la entrega de datos. A continuación, Amazon Data Firehose vuelve a intentarlo o hace una copia de seguridad de los datos en su bucket de Amazon S3, según el valor de duración del reintento que haya establecido.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose volverá a intentar enviar datos a Splunk.

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo de Splunk. Si se produce un error o el acuse de recibo no llega dentro del tiempo de espera del acuse de recibo, Amazon Data Firehose inicia el contador de duración de los reintentos. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error en la entrega de datos y realiza una copia de seguridad de los datos en su bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos a Splunk (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera una confirmación de Splunk.

    Incluso si la duración del reintento vence, Amazon Data Firehose seguirá esperando el acuse de recibo hasta que lo reciba o se agote el tiempo de espera del acuse de recibo. Si se agota el tiempo de espera de la confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintentos. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no quieres que Amazon Data Firehose vuelva a intentar enviar datos, establece este valor en 0.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. El tamaño de búfer recomendado para el destino varía en función del proveedor de servicios.

Configure los ajustes de destino para Splunk Observability Cloud

En esta sección se describen las opciones de uso de Splunk Observability Cloud como destino. Para obtener más información, consulte https://docs.splunk.com/observability/en/gdi/ get-data-in /connect/aws/aws-apiconfig.html # - -api. connect-to-aws-using the-splunk-observability-cloud

  • Proporcione valores para los siguientes campos:

    Punto final de Cloud Ingest URL

    Puede encontrar el punto final de ingesta de datos en tiempo real de Splunk Observability Cloud URL en Profile > Organizations > Real-time Data Ingest Endpoint en la consola de Splunk Observability.

    Autenticación

    Puede elegir entre introducir el token de acceso directamente o recuperar el secreto de AWS Secrets Manager para acceder a Splunk Observability Cloud.

    • Token de acceso

      Copia tu token de acceso a Splunk Observability con el alcance de la INGEST autorización desde los Tokens de acceso, en la sección Configuración de la consola de Splunk Observability.

    • Secret

      Selecciona un secreto de AWS Secrets Manager que contiene el token de acceso a Splunk Observability Cloud. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulteAutenticarse con AWS Secrets Manager en Amazon Data Firehose.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenido para comprimir el cuerpo de una solicitud antes de enviarla al destino. Seleccione GZIPo desactive para activar o desactivar la codificación del contenido de su solicitud.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose volverá a intentar enviar los datos al punto de conexión seleccionado. HTTP

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo del punto de conexión. HTTP Si se produce un error o el acuse de recibo no llega dentro del tiempo de espera del acuse de recibo, Amazon Data Firehose inicia el contador de duración de los reintentos. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error en la entrega de datos y realiza una copia de seguridad de los datos en su bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto final (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto final lo confirme. HTTP

    Incluso si la duración del reintento vence, Amazon Data Firehose seguirá esperando el acuse de recibo hasta que lo reciba o se agote el tiempo de espera del acuse de recibo. Si se agota el tiempo de espera de la confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintentos. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no quieres que Amazon Data Firehose vuelva a intentar enviar datos, establece este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

Configure los ajustes de destino para Sumo Logic

En esta sección se describen las opciones de uso de Sumo Logic como destino. Para obtener más información, consulte https://www.sumologic.com.

  • Proporcione valores para los siguientes campos:

    HTTPpunto final URL

    Especifique el URL para el HTTP punto final en el siguiente formato:https://deployment name.sumologic.net/receiver/v1/kinesis/dataType/access token. URLDebe ser un HTTPSURL.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenido para comprimir el cuerpo de una solicitud antes de enviarla al destino. Seleccione GZIPo desactive para activar o desactivar la codificación del contenido de su solicitud.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose volverá a intentar enviar datos a Sumo Logic.

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo del punto de conexión. HTTP Si se produce un error o el acuse de recibo no llega dentro del tiempo de espera del acuse de recibo, Amazon Data Firehose inicia el contador de duración de los reintentos. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error en la entrega de datos y realiza una copia de seguridad de los datos en su bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto final (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto final lo confirme. HTTP

    Incluso si la duración del reintento vence, Amazon Data Firehose seguirá esperando el acuse de recibo hasta que lo reciba o se agote el tiempo de espera del acuse de recibo. Si se agota el tiempo de espera de la confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintentos. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no quieres que Amazon Data Firehose vuelva a intentar enviar datos, establece este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Consejos de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. El tamaño del búfer recomendado para el destino de Elastic varía de un proveedor de servicios a otro.

Configura los ajustes de destino para Elastic

En esta sección se describen las opciones de uso de Elastic como destino.

  • Proporcione valores para los siguientes campos:

    Punto final elástico URL

    Especifique el URL para el HTTP punto final en el siguiente formato:https://<cluster-id>.es.<region>.aws.elastic-cloud.com. URLDebe ser un HTTPSURL.

    Autenticación

    Puede elegir entre introducir la API clave directamente o recuperar el secreto de AWS Secrets Manager para acceder a Elastic.

    • APIclave

      Ponte en contacto con Elastic para obtener la API clave que necesitas para permitir la entrega de datos a su servicio desde Firehose.

    • Secret

      Selecciona un secreto de AWS Secrets Manager que contiene la API clave de Elastic. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulteAutenticarse con AWS Secrets Manager en Amazon Data Firehose.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenido para comprimir el cuerpo de una solicitud antes de enviarla al destino. Elija GZIP(que es lo que está seleccionado de forma predeterminada) o Desactivado para activar o desactivar la codificación del contenido de su solicitud.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose volverá a intentar enviar datos a Elastic.

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo del punto de conexión. HTTP Si se produce un error o el acuse de recibo no llega dentro del tiempo de espera del acuse de recibo, Amazon Data Firehose inicia el contador de duración de los reintentos. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error en la entrega de datos y realiza una copia de seguridad de los datos en su bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto final (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto final lo confirme. HTTP

    Incluso si la duración del reintento vence, Amazon Data Firehose seguirá esperando el acuse de recibo hasta que lo reciba o se agote el tiempo de espera del acuse de recibo. Si se agota el tiempo de espera de la confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintentos. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no quieres que Amazon Data Firehose vuelva a intentar enviar datos, establece este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Consejos de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos entrantes antes de entregarlos al destino especificado. El tamaño de búfer recomendado para el destino de Elastic es de 1 MiB.