Configure las sugerencias de almacenamiento en búfer

Amazon Data Firehose almacena en memoria los datos de streaming entrantes hasta un tamaño determinado (tamaño de búfer) y durante un período de tiempo determinado (intervalo de almacenamiento en búfer) antes de entregarlos a los destinos especificados. Debería utilizar sugerencias de almacenamiento en búfer cuando desee entregar archivos de tamaño óptimo a Amazon S3 y obtener un mejor rendimiento de las aplicaciones de procesamiento de datos o para ajustar la tasa de entrega de Firehose para que coincida con la velocidad de destino.

Puedes configurar el tamaño del búfer y el intervalo del búfer al crear nuevos flujos de Firehose o actualizar el tamaño del búfer y el intervalo de almacenamiento en tus flujos Firehose existentes. El tamaño del búfer se mide en segundos y el intervalo de almacenamiento en búfer. MBs Sin embargo, si especifica un valor para uno de ellos, también deberá proporcionar un valor para el otro. La primera condición del búfer que se cumpla hace que Firehose entregue los datos. Si no configura los valores de almacenamiento en búfer, se utilizarán los valores predeterminados.

Puede configurar las sugerencias de almacenamiento en búfer de Firehose a través de,, o. AWS Management Console AWS Command Line Interface AWS SDKs Para las transmisiones existentes, puede reconfigurar las sugerencias de almacenamiento en búfer con un valor que se adapte a sus casos de uso mediante la opción Editar de la consola o mediante la. UpdateDestinationAPI Para las transmisiones nuevas, puede configurar las sugerencias de almacenamiento en búfer como parte de la creación de nuevas transmisiones mediante la consola o mediante la. CreateDeliveryStreamAPI Para ajustar el tamaño del búfer, defina SizeInMBs y IntervalInSeconds en el DestinationConfiguration parámetro específico de destino de la tecla o. CreateDeliveryStreamUpdateDestinationAPI

nota

• Las sugerencias de búfer se aplican a nivel de fragmento o partición, mientras que las sugerencias de búfer de partición dinámica se aplican a nivel de flujo o tema.

• Para reducir las latencias en los casos de uso en tiempo real, puedes utilizar una sugerencia de intervalo de almacenamiento en búfer cero. Al configurar el intervalo de almacenamiento en búfer como cero segundos, Firehose no almacenará los datos en búfer y los entregará en unos segundos. Antes de cambiar las sugerencias de almacenamiento en búfer por un valor inferior, consulta con el proveedor las sugerencias de almacenamiento en búfer recomendadas para Firehose para sus destinos.

• La función de almacenamiento en búfer cero solo está disponible para los destinos de la aplicación y no está disponible para el destino de respaldo de Amazon S3.

• La función de almacenamiento en búfer cero no está disponible para la partición dinámica.

• Firehose utiliza la carga en varias partes para el destino S3 cuando configura un intervalo de tiempo de búfer inferior a 60 segundos para ofrecer latencias más bajas. Debido a que la carga se realiza en varias partes para el destino S3, PUT API los costes de S3 aumentarán en cierta medida si eliges un intervalo de tiempo de almacenamiento inferior a 60 segundos.

Para ver los rangos de sugerencias de almacenamiento en búfer específicos del destino y los valores predeterminados, consulta la siguiente tabla:

Destino	Tamaño del búfer en MB (predeterminado entre paréntesis)	Intervalo de almacenamiento en segundos (predeterminado entre paréntesis)
Amazon S3	1-128 (5)	0-900 (300)
Mesas Apache Iceberg	1-128 (5)	0-900 (300)
Amazon Redshift	1-128 (5)	0-900 (300)
OpenSearch Sin servidor	1-100 (5)	0-900 (300)
OpenSearch	1-100 (5)	0-900 (300)
Splunk	1-5 (5)	0-60 (60)
Datadog	1-4 (4)	0-900 (60)
Coralogix	1-64 (6)	0-900 (60)
Dynatrace	1-64 (5)	0-900 (60)
Elastic	1	0-900 (60)
Honeycomb	1-64 (15)	0-900 (60)
HTTPpunto final	1-64 (5)	0-900 (60)
LogicMonitor	1-64 (5)	0-900 (60)
Logzio	1-64 (5)	0-900 (60)
MongoDB	1-16 (5)	0-900 (60)
newRelic	1-64 (5)	0-900 (60)
sumoLogic	1-64 (1)	0-900 (60)
Splunk Observability Cloud	1-64 (1)	0-900 (60)
Snowflake	1 - 128 (1)	0 - 900 (0)