マルチリージョンアプリケーションの考慮事項

MSK レプリケーターを使用してマルチリージョン Apache Kafka アプリケーションを構築する場合は、次の点に注意してください。

• べき等コンシューマー: コンシューマーはダウンストリームに影響を与えずに重複したメッセージを再処理できる必要があります。MSK レプリケーターはat-least-onceデータをレプリケートするため、スタンバイクラスターで重複が発生する可能性があります。セカンダリ AWS リージョンに切り替えると、コンシューマーが同じデータを複数回処理することがあります。MSK レプリケーターは、パフォーマンスを向上させるために、コンシューマーオフセットよりもデータのコピーを優先します。フェイルオーバー後に、コンシューマーが以前のオフセットから読み取りを開始し、それによって重複処理が発生する可能性があります。

• 最小限のデータ損失を許容する: プロデューサーとコンシューマーは最小限のデータ損失を許容する必要があります。MSK レプリケーターはデータを非同期的にレプリケートするため、プライマリ AWS リージョンで障害が発生し始めると、すべてのデータがセカンダリリージョンにレプリケートされる保証はありません。レプリケーションレイテンシーを使用して、セカンダリリージョンにコピーされなかった最大データを決定できます。