Autorizzazioni di sincronizzazione offset per gruppi di consumatori

Quando synchroniseConsumerGroupOffsets è abilitata (impostazione predefinita), il replicatore traduce gli offset del gruppo di consumatori dal cluster di origine e li scrive nel cluster di destinazione. Con questa funzionalità abilitata, i consumatori possono riprendere dalla posizione corretta dopo il failover.

Sono disponibili due modalità di sincronizzazione: LEGACY (impostazione predefinita) e. ENHANCED In modalità LEGACY, il replicatore sincronizza gli offset quando i produttori scrivono nel cluster di origine. In modalità ENHANCED, il replicatore sincronizza gli offset indipendentemente da dove i produttori scrivono. La modalità ENHANCED richiede una replica bidirezionale. Entrambe le modalità utilizzano le stesse autorizzazioni IAM.

Nota

Gli argomenti interni da cui dipende la modalità mskr-offset-syncs.* ENHANCED (e*.checkpoints.internal) sono già trattati nell'argomento Autorizzazioni di replica su entrambi i cluster.

Le seguenti istruzioni aggiungono autorizzazioni specifiche per la sincronizzazione dell'offset di gruppi di consumatori. Poiché la sincronizzazione offset dipende dalla replica dei dati, alcune autorizzazioni si sovrappongono alla politica di replica dell'argomento.

Ruolo di esecuzione del servizio: politica IAM (cluster MSK)

Cluster di origine

Il ruolo di esecuzione del servizio deve avere l'autorizzazione a descrivere i gruppi di consumatori e gli argomenti che utilizzano all'origine.

[
    {
        "Sid": "SourceGroupPermissions",
        "Effect": "Allow",
        "Action": [
            "kafka-cluster:DescribeGroup"
        ],
        "Resource": [
            "arn:aws:kafka:${region}:${account}:group/${SourceClusterName}/${SourceClusterUUID}/${consumerGroupPattern}"
        ]
    },
    {
        "Sid": "SourceUserTopicPermissions",
        "Effect": "Allow",
        "Action": [
            "kafka-cluster:DescribeTopic"
        ],
        "Resource": [
            "arn:aws:kafka:${region}:${account}:topic/${SourceClusterName}/${SourceClusterUUID}/${topicsConsumedByGroup}"
        ]
    }
]

Cluster di destinazione

Il ruolo incaricato dell'esecuzione del servizio deve essere autorizzato a descrivere gli argomenti replicati e a modificare i gruppi di consumatori sulla destinazione, in modo da poter eseguire il commit degli offset tradotti.

[
    {
        "Sid": "TargetCheckpointTopicPermissions",
        "Effect": "Allow",
        "Action": [
            "kafka-cluster:DescribeTopic"
        ],
        "Resource": [
            "arn:aws:kafka:${region}:${account}:topic/${TargetClusterName}/${TargetClusterUUID}/${replicatedTopicPattern}"
        ]
    },
    {
        "Sid": "TargetCheckpointGroupPermissions",
        "Effect": "Allow",
        "Action": [
            "kafka-cluster:AlterGroup",
            "kafka-cluster:DescribeGroup"
        ],
        "Resource": [
            "arn:aws:kafka:${region}:${account}:group/${TargetClusterName}/${TargetClusterUUID}/${consumerGroupPattern}"
        ]
    }
]

Sostituite i segnaposto nelle istruzioni precedenti come segue:

• Sostituire ${consumerGroupPattern} con il nome o il pattern del gruppo di consumatori configurato per la replica (ad esempio,). my-app-group-*

• Sostituiscilo ${topicsConsumedByGroup} con lo schema tematico da cui i gruppi di consumatori leggono all'origine.

• Sostituiscilo ${replicatedTopicPattern} con il corrispondente modello di argomento replicato sulla destinazione (*.${topicPattern}per la denominazione con PREFISSO o ${topicPattern} per la denominazione IDENTICA).

ACL Kafka (cluster non MSK)

Non-MSK come fonte

Quando l'origine è un cluster non MSK, la sincronizzazione offset di gruppi di consumatori richiede i seguenti ACL.

Risorsa	Tipo	Tipo di pattern	Operation	Scopo
${consumerGroupPattern}	Gruppo	LETTERALE o PREFISSO	Describe	Leggi gli offset confermati () OffsetFetch
${topicsConsumedByGroup}	Topic	LETTERALE o PREFISSO	Describe	Metadati tematici per la traduzione offset

Non-MSK come obiettivo

Quando la destinazione è un cluster non MSK, la sincronizzazione offset dei gruppi di consumatori richiede i seguenti ACL.

Risorsa	Tipo	Tipo di pattern	Operation	Scopo
${replicatedTopicPattern}	Topic	LETTERALE o PREFISSO	Describe	Offset di fine registro () ListOffsets
${consumerGroupPattern}	Gruppo	LETTERALE o PREFISSO	Describe	FindCoordinator, DescribeGroup
${consumerGroupPattern}	Gruppo	LETTERALE o PREFISSO	Lettura	Conferma gli offset tradotti () OffsetCommit