Comprendi i suggerimenti per il buffering

Amazon Data Firehose memorizza i dati di streaming in entrata fino a una certa dimensione (dimensione di buffering) e per un determinato periodo di tempo (intervallo di buffering) prima di consegnarli alle destinazioni specificate. I suggerimenti di buffering possono essere utilizzati quando si desidera distribuire file di dimensioni ottimali ad Amazon S3 e ottenere prestazioni migliori dalle applicazioni di elaborazione dati o per adattare la velocità di consegna di Firehose alla velocità di destinazione.

È possibile configurare la dimensione e l'intervallo di buffer durante la creazione di nuovi flussi Firehose o aggiornare la dimensione e l'intervallo di buffering sui flussi Firehose esistenti. La dimensione del buffering viene misurata in MB e l'intervallo di buffering viene misurato in secondi. Tuttavia, se specifichi un valore per uno di essi, devi fornire un valore per l'altro. La prima condizione del buffer soddisfatta attiva Firehose per fornire i dati. Se non si configurano i valori di buffering, vengono utilizzati i valori predefiniti.

È possibile configurare i suggerimenti di buffering di Firehose tramite AWS Management Console, AWS Command Line Interface o SDK. AWS Per gli stream esistenti, è possibile riconfigurare i suggerimenti di buffering con un valore adatto ai casi d'uso utilizzando l'opzione Modifica nella console o utilizzando l'API. UpdateDestination Per i nuovi stream, puoi configurare i suggerimenti di buffering come parte della creazione di nuovi stream utilizzando la console o l'API. CreateDeliveryStream Per regolare la dimensione del buffering, imposta SizeInMBs e IntervalInSeconds inserisci il DestinationConfiguration parametro specifico di destinazione dell'API or. CreateDeliveryStreamUpdateDestination

Nota

• Per soddisfare le latenze più basse dei casi d'uso in tempo reale, puoi utilizzare zero buffering interval hint. Quando si configura l'intervallo di buffering su zero secondi, Firehose non memorizzerà i dati nel buffer e li consegnerà entro pochi secondi. Prima di modificare i suggerimenti di buffering impostandoli su un valore inferiore, rivolgiti al fornitore per conoscere i suggerimenti di buffering consigliati da Firehose per le relative destinazioni.

• La funzionalità di zero buffering è disponibile solo per le destinazioni delle applicazioni e non è disponibile per la destinazione di backup Amazon S3.

Nota

Firehose utilizza il caricamento in più parti per la destinazione S3 quando si configura un intervallo di tempo del buffer inferiore a 60 secondi per offrire latenze inferiori. A causa del caricamento in più parti per la destinazione S3, noterai un certo aumento dei costi dell'PUTAPI S3 se scegli un intervallo di tempo di buffer inferiore a 60 secondi.

Per gli intervalli di suggerimenti per il buffering specifici della destinazione e i valori predefiniti, consulta la seguente tabella:

Destinazione	Dimensione del buffering in MB (impostazione predefinita tra parentesi)	Intervallo di buffering in secondi (impostazione predefinita tra parentesi)
S3	1-128 (5)	0-900 (300)
Redshift	1-128 (5)	0-900 (300)
OpenSearch Senza server	1-100 (5)	0-900 (300)
OpenSearch	1-100 (5)	0-900 (300)
Splunk	1-5 (5)	0-60 (60)
Datadog	1-4 (4)	0-900 (60)
Coralogix	1-64 (6)	0-900 (60)
Dynatrace	1-64 (5)	0-900 (60)
Elastic	1	0-900 (60)
Honeycomb	1-64 (15)	0-900 (60)
Endpoint HTTP	1-64 (5)	0-900 (60)
LogicMonitor	1-64 (5)	0-900 (60)
Loggiato	1-64 (5)	0-900 (60)
MongoDB	1-16 (5)	0-900 (60)
Nuova reliquia	1-64 (5)	0-900 (60)
SumoLogic	1-64 (1)	0-900 (60)
Splunk Observability Cloud	1-64 (1)	0-900 (60)