Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Données de mémoire tampon pour le partitionnement dynamique
Amazon Data Firehose met en mémoire tampon les données de streaming entrantes jusqu'à une certaine taille et pendant une certaine période avant de les diffuser vers les destinations spécifiées. Vous pouvez configurer la taille de la mémoire tampon et l'intervalle de la mémoire tampon lors de la création de nouveaux flux Firehose ou mettre à jour la taille de la mémoire tampon et l'intervalle de mémoire tampon sur vos flux Firehose existants. La taille d'une mémoire tampon est mesurée en secondes MBs et un intervalle de mémoire tampon est mesuré en secondes.
Note
La fonction de mise en mémoire tampon zéro n'est pas disponible pour le partitionnement dynamique.
Lorsque le partitionnement dynamique est activé, Firehose met en mémoire tampon en interne les enregistrements appartenant à une partition donnée en fonction de l'indice de mise en mémoire tampon configuré (taille et durée) avant de transférer ces enregistrements dans votre compartiment Amazon S3. Afin de fournir des objets de taille maximale, Firehose utilise une mise en mémoire tampon en plusieurs étapes en interne. Par conséquent, end-to-end le délai d'un lot d'enregistrements peut être 1,5 fois supérieur au délai d'indication de mise en mémoire tampon configuré. Cela affecte la fraîcheur des données d'un flux Firehose.
Le nombre de partitions actives est le nombre total de partitions actives dans le tampon de diffusion. Par exemple, si la requête de partitionnement dynamique crée trois partitions par seconde et que vous avez une configuration d'indice de mémoire tampon déclenchant la livraison toutes les 60 secondes, vous aurez en moyenne 180 partitions actives. Si Firehose ne parvient pas à livrer les données d'une partition à une destination, cette partition est considérée comme active dans le tampon de livraison jusqu'à ce qu'elle puisse être livrée.
Une nouvelle partition est créée lorsqu'un préfixe S3 est évalué à une nouvelle valeur sur la base des champs de données de l'enregistrement et des expressions du préfixe S3. Une nouvelle mémoire tampon est créée pour chaque partition active. Chaque enregistrement suivant avec le même préfixe S3 évalué est envoyé dans cette mémoire tampon.
Une fois que le tampon atteint la limite de taille de la mémoire tampon ou l'intervalle de temps de la mémoire tampon, Firehose crée un objet avec les données de la mémoire tampon et les transmet au préfixe Amazon S3 spécifié. Une fois l'objet livré, la mémoire tampon de cette partition et la partition elle-même sont supprimées et supprimées du nombre de partitions actives.
Firehose fournit chaque donnée de la mémoire tampon sous la forme d'un objet unique une fois que la taille ou l'intervalle de la mémoire tampon sont atteints pour chaque partition séparément. Une fois que le nombre de partitions actives atteint la limite de 500 par flux Firehose, le reste des enregistrements du flux Firehose est transmis au préfixe de compartiment d'erreur S3 spécifié (). activePartitionExceeded Vous pouvez utiliser le formulaire Amazon Data Firehose Limits
