Richten Sie die Voraussetzungen für MSK Replicator mit selbstverwalteten Apache Kafka-Clustern ein

Erstellen Sie eine IAM-Ausführungsrolle

Erstellen Sie eine IAM-Rolle mit einer Vertrauensrichtlinie für. kafka.amazonaws.com Hängen Sie die AWSMSKReplicatorExecutionRole und die AWSSecretsManagerClientReadOnlyAccess verwalteten Richtlinien an.

Beispiel für eine Vertrauensrichtlinie:

{
  "Statement": [{
    "Effect": "Allow",
    "Principal": {"Service": "kafka.amazonaws.com"},
    "Action": "sts:AssumeRole"
  }]
}

SASL/SCRAM Benutzer- und ACL-Berechtigungen konfigurieren

Erstellen Sie einen dedizierten SCRAM-Benutzer auf Ihrem selbstverwalteten Kafka-Cluster. Die folgenden ACL-Berechtigungen sind erforderlich:

1. Zu allen Themen lesen, beschreiben

2. Lesen und beschreiben Sie alles über alle Verbrauchergruppen

3. Beschreiben Sie auf der Cluster-Ressource

Beispielbefehle für kafka-acls.sh:

# Grant Read and Describe on all topics
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Read --operation Describe \
  --topic '*'

# Grant Read and Describe on all consumer groups
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Read --operation Describe \
  --group '*'

# Grant Describe on cluster
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Describe --cluster

Konfigurieren Sie SSL auf einem selbstverwalteten Cluster

Konfigurieren Sie SSL-Listener auf Ihren Brokern. Für öffentlich vertrauenswürdige Zertifikate ist keine zusätzliche Konfiguration erforderlich. Schließen Sie bei privaten oder selbstsignierten Zertifikaten die gesamte CA-Zertifikatskette in das in AWS Secrets Manager gespeicherte Geheimnis ein.

Anmeldeinformationen in AWS Secrets Manager speichern

Erstellen Sie in AWS Secrets Manager ein Geheimnis vom Typ Andere (nicht RDS/RedShift) mit den folgenden Schlüssel-Wert-Paaren:

1. username— SCRAM-Benutzername für den selbstverwalteten Cluster

2. password— SCRAM-Passwort für den selbstverwalteten Cluster

3. certificate— CA-Zertifikatskette (PEM-Format; erforderlich für private/selbstsignierte Zertifikate)

Netzwerkkonnektivität konfigurieren

MSK Replicator benötigt Netzwerkkonnektivität zu Ihrem selbstverwalteten Kafka-Cluster. Unterstützte Optionen:

• AWS Site-to-Site VPN — Connect lokale Netzwerke über das Internet mit Ihrer VPC.

• AWS Direct Connect — Stellen Sie eine dedizierte private Netzwerkverbindung von Ihren Räumlichkeiten zu her AWS.

Configure Security Groups (Sicherheitsgruppen konfigurieren)

Stellen Sie sicher, dass Sicherheitsgruppen den Datenverkehr zwischen MSK Replicator und dem selbstverwalteten Cluster auf dem SASL_SSL Port zulassen (normalerweise 9096). Aktualisieren Sie sowohl eingehende Regeln für VPC-Sicherheitsgruppen als auch ausgehende Regeln für die selbstverwaltete Cluster-Firewall.