Problembehandlung bei Replicator MSK

Die folgenden Informationen können Ihnen bei der Behebung von Problemen helfen, die Sie möglicherweise mit MSK Replicator haben. Informationen Beheben Sie Probleme mit Ihrem MSK Amazon-Cluster zur Problemlösung zu anderen MSK Amazon-Funktionen finden Sie unter. Sie können Ihr Problem auch im AWS re:Post posten.

MSKDer Replicator-Status geht von bis CREATING FAILED

Im Folgenden sind einige der häufigsten Ursachen für Fehler bei der MSK Replikatorerstellung aufgeführt.

1. Stellen Sie sicher, dass die Sicherheitsgruppen, die Sie für den Replikator im Ziel-Cluster-Bereich angeben, über Regeln für ausgehenden Datenverkehr zu den Sicherheitsgruppen Ihres Ziel-Clusters verfügen. Stellen Sie außerdem sicher, dass die Sicherheitsgruppen Ihres Ziel-Clusters über Regeln für eingehenden Datenverkehr aus den Sicherheitsgruppen verfügen, die Sie im Ziel-Cluster-Bereich für die Replikator-Erstellung bereitstellen. Siehe Wählen Sie den Ziel-Cluster.

2. Wenn Sie Replicator für die regionsübergreifende Replikation erstellen, stellen Sie sicher, dass in Ihrem Quellcluster VPC Multikonnektivität für die IAM Access Control-Authentifizierungsmethode aktiviert ist. Siehe Amazon MSK VPC Multi-Private-Konnektivität in einer einzigen Region. Stellen Sie außerdem sicher, dass die Clusterrichtlinie auf dem Quellcluster eingerichtet ist, sodass der MSK Replicator eine Verbindung zum Quellcluster herstellen kann. Siehe Bereiten Sie den MSK Amazon-Quellcluster vor.

3. Vergewissern Sie sich, dass die IAM Rolle, die Sie bei der Erstellung des MSK Replikators angegeben haben, über die erforderlichen Lese- und Schreibberechtigungen für Ihre Quell- und Zielcluster verfügt. Stellen Sie außerdem sicher, dass die IAM Rolle über Schreibberechtigungen für Themen verfügt. Siehe Einstellungen und Berechtigungen des Replikators konfigurieren

4. Stellen Sie sicher, dass ACLs Ihr Netzwerk die Verbindung zwischen dem MSK Replicator und Ihren Quell- und Zielclustern nicht blockiert.

5. Es ist möglich, dass Quell- oder Zielcluster nicht vollständig verfügbar sind, als der MSK Replicator versucht hat, eine Verbindung zu ihnen herzustellen. Dies kann auf eine übermäßige Auslastung, Festplattennutzung oder CPU -nutzung zurückzuführen sein, wodurch der Replicator keine Verbindung zu den Brokern herstellen kann. Beheben Sie das Problem mit den Brokern und versuchen Sie erneut, den Replikator zu erstellen.

Nachdem Sie die oben genannten Validierungen durchgeführt haben, erstellen Sie den MSK Replicator erneut.

MSKDer Replikator scheint im Status festgefahren zu sein CREATING

Manchmal kann die Erstellung MSK des Replikators bis zu 30 Minuten dauern. Warten Sie 30 Minuten und überprüfen Sie den Status des Replikators erneut.

MSKDer Replikator repliziert keine Daten oder repliziert nur Teildaten

Gehen Sie wie folgt vor, um Probleme bei der Datenreplikation zu beheben.

1. Stellen Sie anhand der von Replicator in Amazon bereitgestellten AuthError Metrik sicher, dass Ihr MSK Replicator keine Authentifizierungsfehler hat. CloudWatch Wenn diese Metrik über 0 liegt, überprüfen Sie, ob die Richtlinie der IAM Rolle, die Sie für den Replikator angegeben haben, gültig ist und für die Cluster-Berechtigungen keine Verweigerungsberechtigungen festgelegt wurden. Anhand der clusterAlias Dimension können Sie feststellen, ob beim Quell- oder Zielcluster Authentifizierungsfehler aufgetreten sind.

2. Stellen Sie sicher, dass bei Ihren Quell- und Ziel-Clustern keine Probleme auftreten. Es ist möglich, dass der Replikator keine Verbindung zu Ihrem Quell- oder Ziel-Cluster herstellen kann. Dies kann auf zu viele Verbindungen, volle Festplattenkapazität oder hohe CPU Auslastung zurückzuführen sein.

3. Stellen Sie anhand der KafkaClusterPingSuccessCount Metrik in Amazon CloudWatch sicher, dass Ihre Quell- und Zielcluster von MSK Replicator aus erreichbar sind. Anhand der clusterAlias Dimension können Sie feststellen, ob im Quell- oder Zielcluster Authentifizierungsfehler auftreten. Wenn diese Metrik 0 ist oder keinen Datenpunkt hat, ist die Verbindung fehlerhaft. Sie sollten die Netzwerk- und IAM Rollenberechtigungen überprüfen, die MSK Replicator für die Verbindung mit Ihren Clustern verwendet.

4. Stellen Sie anhand der ReplicatorFailure Metrik in Amazon sicher, dass Ihr Replicator nicht aufgrund fehlender Berechtigungen auf Themenebene ausfällt. CloudWatch Wenn diese Metrik über 0 liegt, überprüfen Sie die IAM Rolle, die Sie angegeben haben, um Berechtigungen auf Themenebene zu erhalten.

5. Vergewissern Sie sich, dass der reguläre Ausdruck, den Sie bei der Erstellung des Replikators in der Zulassungsliste angegeben haben, mit den Namen der Themen übereinstimmt, die Sie replizieren möchten. Stellen Sie außerdem sicher, dass die Themen nicht aufgrund eines regulären Ausdrucks in der Verweigerungsliste von der Replikation ausgeschlossen werden.

6. Beachten Sie, dass es bis zu 30 Sekunden dauern kann, bis der Replicator die neuen Themen oder Themenpartitionen auf dem Zielcluster erkennt und erstellt. Alle Nachrichten, die an das Quellthema gesendet wurden, bevor das Thema auf dem Zielcluster erstellt wurde, werden nicht repliziert, wenn der Replikator die neueste Startposition hat (Standard). Sie können die Replikation auch vom frühesten Offset in den Themenpartitionen des Quellclusters starten, wenn Sie vorhandene Nachrichten zu Ihren Themen auf dem Zielcluster replizieren möchten. Siehe Einstellungen und Berechtigungen des Replikators konfigurieren.

Die Nachrichtenoffsets im Zielcluster unterscheiden sich von denen im Quellcluster

Im Rahmen der Datenreplikation verarbeitet MSK Replicator Nachrichten aus dem Quellcluster und sendet sie an den Zielcluster. Dies kann dazu führen, dass Nachrichten auf Ihrem Quell- und Zielcluster unterschiedliche Offsets aufweisen. Wenn Sie jedoch bei der Erstellung des Replikators die Synchronisierung von Offsets für Nutzergruppen aktiviert haben, übersetzt MSK Replicator die Offsets beim Kopieren der Metadaten automatisch, sodass Ihre Benutzer nach einem Failover zum Zielcluster die Verarbeitung an der Stelle fortsetzen können, an der sie im Quellcluster aufgehört haben.

MSKReplicator synchronisiert keine Offsets für Nutzergruppen, oder die Nutzungsgruppe ist auf dem Zielcluster nicht vorhanden

Gehen Sie wie folgt vor, um Probleme mit der Metadatenreplikation zu beheben.

1. Stellen Sie sicher, dass Ihre Datenreplikation wie erwartet funktioniert. Falls nicht, siehe MSKDer Replikator repliziert keine Daten oder repliziert nur Teildaten.

2. Vergewissern Sie sich, dass der reguläre Ausdruck, den Sie bei der Erstellung des Replikators in der Zulassungsliste angegeben haben, mit den Namen der Nutzergruppen übereinstimmt, die Sie replizieren möchten. Stellen Sie außerdem sicher, dass die Nutzergruppen nicht aufgrund eines regulären Ausdrucks in der Ablehnungsliste von der Replikation ausgeschlossen werden.

3. Stellen Sie sicher, dass MSK Replicator das Thema auf dem Zielcluster erstellt hat. Es kann bis zu 30 Sekunden dauern, bis der Replicator die neuen Themen oder Themenpartitionen auf dem Zielcluster erkannt und erstellt hat. Alle Nachrichten, die an das Quellthema gesendet wurden, bevor das Thema auf dem Zielcluster erstellt wurde, werden nicht repliziert, wenn der Replikator die neueste Startposition hat (Standard). Wenn Ihre Nutzergruppe auf dem Quellcluster nur die Nachrichten verarbeitet hat, die nicht von MSK Replicator repliziert wurden, wird die Nutzungsgruppe nicht auf den Zielcluster repliziert. Nachdem das Thema erfolgreich auf dem Zielcluster erstellt wurde, beginnt MSK Replicator mit der Replikation neu geschriebener Nachrichten auf dem Quellcluster auf das Ziel. Sobald Ihre Nutzergruppe beginnt, diese Nachrichten vom Quellcluster zu lesen, MSK repliziert Replicator die Nutzergruppe automatisch auf den Zielcluster. Alternativ können Sie die Replikation ab dem frühesten Offset in den Themenpartitionen des Quell-Clusters starten, wenn Sie vorhandene Nachrichten zu Ihren Themen auf dem Zielcluster replizieren möchten. Siehe Einstellungen und Berechtigungen des Replikators konfigurieren.

Anmerkung

MSKReplicator optimiert die Offset-Synchronisierung von Nutzergruppen für Ihre Benutzer auf dem Quellcluster, die von einer Position aus lesen, die näher am Ende der Themenpartition liegt. Wenn Ihre Nutzergruppen auf dem Quell-Cluster hinterherhinken, stellen Sie möglicherweise eine höhere Verzögerung für diese Nutzergruppen auf dem Ziel-Cluster fest als im Quell-Cluster. Das bedeutet, dass Ihre Kunden nach einem Failover auf den Zielcluster mehr doppelte Nachrichten erneut verarbeiten werden. Um diese Verzögerung zu verringern, müssten Ihre Verbraucher auf dem Quell-Cluster aufholen und von der Spitze des Streams (Ende der Themenpartition) aus mit dem Konsum beginnen. Wenn Ihre Kunden aufholen, reduziert MSK Replicator die Verzögerung automatisch.

Die Replikationslatenz ist hoch oder nimmt weiter zu

Im Folgenden sind einige der häufigsten Ursachen für eine hohe Replikationslatenz aufgeführt.

1. Stellen Sie sicher, dass Sie die richtige Anzahl von Partitionen auf Ihren Quell- und MSK Zielclustern haben. Zu wenige oder zu viele Partitionen können sich auf die Leistung auswirken. Hinweise zur Auswahl der Anzahl von Partitionen finden Sie unter Bewährte Methoden für die Verwendung von MSK Replicator. Die folgende Tabelle zeigt die empfohlene Mindestanzahl an Partitionen, um mit MSK Replicator den gewünschten Durchsatz zu erzielen.

   Durchsatz und empfohlene Mindestanzahl von Partitionen

   Durchsatz (MB/s)	Mindestanzahl an Partitionen erforderlich
   50	167
   100	334
   250	833
   500	166
   1000	3333

2. Stellen Sie sicher, dass Ihre Quell- und MSK Zielcluster über genügend Lese- und Schreibkapazität verfügen, um den Replikationsdatenverkehr zu unterstützen. MSKReplicator fungiert als Verbraucher für Ihren Quell-Cluster (Egress) und als Produzent für Ihren Zielcluster (Ingress). Daher sollten Sie Cluster-Kapazität bereitstellen, um den Replikations-Datenverkehr zusätzlich zu anderem Datenverkehr auf Ihren Clustern zu unterstützen. Anleitungen Bewährte Methoden für die Verwendung von MSK Replicator zur Dimensionierung Ihrer Cluster finden Sie unter. MSK

3. Die Replikationslatenz kann für MSK Cluster in unterschiedlichen Quell- und AWS Zielregionspaaren variieren, je nachdem, wie weit die Cluster geografisch voneinander entfernt sind. Beispielsweise ist die Replikationslatenz bei der Replikation zwischen Clustern in den Regionen Europa (Irland) und Europa (London) in der Regel niedriger als bei der Replikation zwischen Clustern in den Regionen Europa (Irland) und Asien-Pazifik (Sydney).

4. Stellen Sie sicher, dass Ihr Replikator nicht aufgrund zu aggressiver Kontingente auf Ihren Quell- oder Ziel-Clustern gedrosselt wird. Sie können die von MSK Replicator in Amazon bereitgestellte ThrottleTime Metrik verwenden, CloudWatch um die durchschnittliche Zeit in Millisekunden zu ermitteln, für die eine Anfrage von Brokern in Ihrem Quell-/Zielcluster gedrosselt wurde. Wenn diese Metrik über 0 liegt, sollten Sie die Kafka-Kontingente anpassen, um die Drosselung zu reduzieren, damit der Replikator aufholen kann. Informationen zur Verwaltung von Kafka-Kontingenten für den Replikator finden Sie unter Verwaltung des MSK Replicator-Durchsatzes mithilfe von Kafka-Kontingenten.

5. ReplicationLatency und MessageLag kann sich erhöhen, wenn eine Region heruntergestuft wird. AWS Verwenden Sie das AWS Service Health Dashboard, um in der Region, in der sich Ihr primärer MSK Cluster befindet, nach einem MSK Serviceereignis zu suchen. Wenn ein Service-Ereignis eintritt, können Sie die Lese- und Schreibvorgänge Ihrer Anwendung vorübergehend an die andere Region weiterleiten.