Amazon Kinesis データストリームは、再シャーディング中にソース処理を順序どおりにストリーミングします

現在の FlinkKinesisConsumer 実装では、Kinesis シャード間の強力な注文保証は提供されません。これにより、Kinesis Stream の再シャーディング中に、特に処理の遅延が発生する Flink アプリケーションに対して処理が行われる out-of-order可能性があります。たとえば、イベント時間に基づくウィンドウオペレーターのような状況下では、遅延が原因でイベントが破棄される可能性があります。

これはオープンソースの Flink の既知の問題です。コネクタの修正が利用可能になるまで、Flink アプリケーションが Kinesis データストリームのリパーティショニング中に遅れないようにすることが重要です。Flink アプリケーションが処理遅延を確実に許容することで、処理の影響 out-of-orderとデータ損失のリスクを最小限に抑えることができます。