Comprendre les conseils de mise en mémoire tampon

Amazon Data Firehose met en mémoire tampon les données de streaming entrantes en mémoire jusqu'à une certaine taille (taille de mise en mémoire tampon) et pendant une certaine période (intervalle de mise en mémoire tampon) avant de les transmettre aux destinations spécifiées. Vous pouvez utiliser des conseils de mise en mémoire tampon lorsque vous souhaitez fournir des fichiers de taille optimale à Amazon S3 et améliorer les performances des applications de traitement des données ou pour ajuster le taux de livraison de Firehose en fonction de la vitesse de destination.

Vous pouvez configurer la taille de la mémoire tampon et l'intervalle de mise en mémoire tampon lors de la création de nouveaux flux Firehose ou mettre à jour la taille de la mémoire tampon et l'intervalle de mise en mémoire tampon sur vos flux Firehose existants. La taille de la mémoire tampon est mesurée en Mo et l'intervalle de mise en mémoire tampon est mesuré en secondes. Toutefois, si vous spécifiez une valeur pour l'un d'eux, vous devez également fournir une valeur pour l'autre. La première condition de mémoire tampon satisfaite déclenche la livraison des données par Firehose. Si vous ne configurez pas les valeurs de mise en mémoire tampon, les valeurs par défaut sont utilisées.

Vous pouvez configurer les indices de mise en mémoire tampon de Firehose via le ou AWS Management Console les SDK AWS Command Line Interface. AWS Pour les flux existants, vous pouvez reconfigurer les indications de mise en mémoire tampon avec une valeur adaptée à vos cas d'utilisation à l'aide de l'option Modifier de la console ou de l'API. UpdateDestination Pour les nouveaux flux, vous pouvez configurer des indices de mise en mémoire tampon dans le cadre de la création de nouveaux flux à l'aide de la console ou de l'CreateDeliveryStreamAPI. Pour ajuster la taille de la mémoire tampon, définissez SizeInMBs et IntervalInSeconds dans le DestinationConfiguration paramètre spécifique à la destination de l'UpdateDestinationAPI CreateDeliveryStreamor.

Note

• Pour réduire les temps de latence des cas d'utilisation en temps réel, vous pouvez utiliser un indice d'intervalle de mise en mémoire tampon nul. Lorsque vous configurez l'intervalle de mise en mémoire tampon à zéro seconde, Firehose ne met pas les données en mémoire tampon et les fournit en quelques secondes. Avant de remplacer les indications de mise en mémoire tampon par une valeur inférieure, consultez le fournisseur pour connaître les indications de mise en mémoire tampon recommandées pour Firehose pour leurs destinations.

• La fonctionnalité de mise en mémoire tampon zéro n'est disponible que pour les destinations de l'application et n'est pas disponible pour la destination de sauvegarde Amazon S3.

Note

Firehose utilise le téléchargement en plusieurs parties pour la destination S3 lorsque vous configurez un intervalle de temps de mémoire tampon inférieur à 60 secondes afin de réduire les latences. En raison du chargement en plusieurs parties pour la destination S3, vous constaterez une certaine augmentation des coûts de PUT l'API S3 si vous choisissez un intervalle de temps de mémoire tampon inférieur à 60 secondes.

Pour les plages d'indices de mise en mémoire tampon et les valeurs par défaut spécifiques à la destination, consultez le tableau suivant :

Destination	Taille de la mémoire tampon en Mo (valeur par défaut entre parenthèses)	Intervalle de mise en mémoire tampon en secondes (par défaut entre parenthèses)
S3	1-128 (5)	0-900 (300)
Redshift	1-128 (5)	0-900 (300)
OpenSearch Sans serveur	1 à 100 (5)	0-900 (300)
OpenSearch	1 à 100 (5)	0-900 (300)
Splunk	1-5 (5)	0 à 60 ans (60)
Datadog	1-4 (4)	0 à 900 (60)
Coralogix	1-64 (6)	0 à 900 (60)
Dynatrace	1-64 (5)	0 à 900 (60)
Elasticité	1	0 à 900 (60)
Honeycomb	1-64 (15)	0 à 900 (60)
Point de terminaison HTTP	1-64 (5)	0 à 900 (60)
LogicMonitor	1-64 (5)	0 à 900 (60)
Logzio	1-64 (5)	0 à 900 (60)
MongoDB	1 à 16 ans (5)	0 à 900 (60)
Nouvelle relique	1-64 (5)	0 à 900 (60)
SumoLogic	1-64 (1)	0 à 900 (60)
Splunk Observability Cloud	1-64 (1)	0 à 900 (60)