Izin sinkronisasi offset grup konsumen

Ketika synchroniseConsumerGroupOffsets diaktifkan (default), replikator menerjemahkan offset grup konsumen dari cluster sumber dan menulisnya ke cluster target. Dengan fitur ini diaktifkan, konsumen dapat melanjutkan dari posisi yang benar setelah failover.

Dua mode sinkronisasi tersedia: LEGACY (default) danENHANCED. Dalam mode LEGACY, replikator menyinkronkan offset saat produsen menulis ke cluster sumber. Dalam mode ENHANCED, replikator menyinkronkan offset di mana pun produsen menulis. Mode YANG DITINGKATKAN membutuhkan replikasi dua arah. Kedua mode menggunakan izin IAM yang sama.

catatan

Topik internal yang bergantung pada mode ENHANCED (mskr-offset-syncs.*dan*.checkpoints.internal) sudah dicakup oleh izin replikasi topik di kedua cluster.

Pernyataan berikut menambahkan izin khusus untuk sinkronisasi offset grup konsumen. Karena sinkronisasi offset bergantung pada replikasi data, beberapa izin tumpang tindih dengan kebijakan replikasi topik.

Peran eksekusi layanan kebijakan IAM (kluster MSK)

Klaster sumber

Peran eksekusi layanan harus memiliki izin untuk menggambarkan kelompok konsumen dan topik yang mereka konsumsi pada sumbernya.

[
    {
        "Sid": "SourceGroupPermissions",
        "Effect": "Allow",
        "Action": [
            "kafka-cluster:DescribeGroup"
        ],
        "Resource": [
            "arn:aws:kafka:${region}:${account}:group/${SourceClusterName}/${SourceClusterUUID}/${consumerGroupPattern}"
        ]
    },
    {
        "Sid": "SourceUserTopicPermissions",
        "Effect": "Allow",
        "Action": [
            "kafka-cluster:DescribeTopic"
        ],
        "Resource": [
            "arn:aws:kafka:${region}:${account}:topic/${SourceClusterName}/${SourceClusterUUID}/${topicsConsumedByGroup}"
        ]
    }
]

Klaster target

Peran eksekusi layanan harus memiliki izin untuk menggambarkan topik yang direplikasi dan mengubah kelompok konsumen pada target sehingga offset yang diterjemahkan dapat dilakukan.

[
    {
        "Sid": "TargetCheckpointTopicPermissions",
        "Effect": "Allow",
        "Action": [
            "kafka-cluster:DescribeTopic"
        ],
        "Resource": [
            "arn:aws:kafka:${region}:${account}:topic/${TargetClusterName}/${TargetClusterUUID}/${replicatedTopicPattern}"
        ]
    },
    {
        "Sid": "TargetCheckpointGroupPermissions",
        "Effect": "Allow",
        "Action": [
            "kafka-cluster:AlterGroup",
            "kafka-cluster:DescribeGroup"
        ],
        "Resource": [
            "arn:aws:kafka:${region}:${account}:group/${TargetClusterName}/${TargetClusterUUID}/${consumerGroupPattern}"
        ]
    }
]

Ganti placeholder dalam pernyataan sebelumnya sebagai berikut:

• Ganti ${consumerGroupPattern} dengan nama grup konsumen atau pola yang dikonfigurasi untuk replikasi (misalnya,my-app-group-*).

• Ganti ${topicsConsumedByGroup} dengan pola topik yang dibaca kelompok konsumen dari sumbernya.

• Ganti ${replicatedTopicPattern} dengan pola topik replikasi yang sesuai pada target (*.${topicPattern}untuk penamaan PREFIXED, atau ${topicPattern} untuk penamaan IDENTIK).

Kafka ACL (klaster non-MSK)

Non-MSK sebagai sumber

Ketika sumbernya adalah cluster non-MSK, sinkronisasi offset grup konsumen memerlukan ACL berikut.

Sumber daya	Tipe	Jenis pola	Operasi	Tujuan
${consumerGroupPattern}	Kelompok	LITERAL atau AWALAN	Jelaskan	Baca offset yang berkomitmen () OffsetFetch
${topicsConsumedByGroup}	Topik	LITERAL atau AWALAN	Jelaskan	Metadata topik untuk terjemahan offset

Non-MSK sebagai target

Ketika targetnya adalah cluster non-MSK, sinkronisasi offset grup konsumen memerlukan ACL berikut.

Sumber daya	Tipe	Jenis pola	Operasi	Tujuan
${replicatedTopicPattern}	Topik	LITERAL atau AWALAN	Jelaskan	Offset akhir log () ListOffsets
${consumerGroupPattern}	Kelompok	LITERAL atau AWALAN	Jelaskan	FindCoordinator, DescribeGroup
${consumerGroupPattern}	Kelompok	LITERAL atau AWALAN	Baca	Komit offset yang diterjemahkan () OffsetCommit