Le traitement des sources de données Amazon Kinesis est désordonné lors du repartitionnement - Service géré pour Apache Flink

Le service géré Amazon pour Apache Flink était auparavant connu sous le nom d’Amazon Kinesis Data Analytics pour Apache Flink.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Le traitement des sources de données Amazon Kinesis est désordonné lors du repartitionnement

L' FlinkKinesisConsumer implémentation actuelle ne fournit pas de solides garanties d'ordre entre les partitions Kinesis. Cela peut entraîner un out-of-order traitement lors du resharding de Kinesis Stream, en particulier pour les applications Flink présentant un retard de traitement. Dans certaines circonstances, par exemple lorsque les opérateurs Windows sont basés sur l’heure des événements, les événements peuvent être ignorés en raison du retard qui en résulte.

Diagram showing shards and shard consumers with time progression and trim horizon.

Il s’agit d’un problème connu dans Open Source Flink. Jusqu’à ce que le correctif du connecteur soit disponible, assurez-vous que vos applications Flink ne prennent pas de retard sur Kinesis Data Streams lors du repartitionnement. En vous assurant que le délai de traitement est toléré par vos applications Flink, vous pouvez minimiser l'impact du out-of-order traitement et le risque de perte de données.