Problembehandlung bei MSK Replicator

Die folgenden Informationen können zum Beheben von Problemen mit MSK-Replikator nützlich sein. Informationen Problembehandlung bei Ihrem Amazon MSK-Cluster zur Problemlösung zu anderen Amazon MSK-Funktionen finden Sie unter. Sie können Ihr Problem auch im AWS re:Post posten.

Der Status des MSK-Replikators wechselt von CREATING zu FAILED

Im Folgenden sind einige der häufigsten Ursachen für Fehler bei der Erstellung des MSK-Replikators aufgeführt.

1. Stellen Sie sicher, dass die Sicherheitsgruppen, die Sie für den Replikator im Ziel-Cluster-Bereich angeben, über Regeln für ausgehenden Datenverkehr zu den Sicherheitsgruppen Ihres Ziel-Clusters verfügen. Stellen Sie außerdem sicher, dass die Sicherheitsgruppen Ihres Ziel-Clusters über Regeln für eingehenden Datenverkehr aus den Sicherheitsgruppen verfügen, die Sie im Ziel-Cluster-Bereich für die Replikator-Erstellung bereitstellen. Siehe Wählen Sie den Ziel-Cluster.

2. Wenn Sie einen Replikator für die regionsübergreifende Replikation erstellen, stellen Sie sicher, dass in Ihrem Quell-Cluster Multi-VPC-Konnektivität für die IAM-Access-Control-Authentifizierungsmethode aktiviert ist. Siehe Private Multi-VPC-Konnektivität von Amazon MSK in einer einzelnen Region. Stellen Sie außerdem sicher, dass die Cluster-Richtlinie auf dem Quell-Cluster eingerichtet ist, sodass der MSK-Replikator eine Verbindung zum Quell-Cluster herstellen kann. Siehe Bereiten Sie den Amazon MSK-Quellcluster vor.

3. Stellen Sie sicher, dass die IAM-Rolle, die Sie bei der Erstellung des MSK-Replikators angegeben haben, über die erforderlichen Berechtigungen zum Lesen und Schreiben in die Quell- und Ziel-Cluster verfügt. Stellen Sie außerdem sicher, dass die IAM-Rolle über Schreibberechtigungen für Themen verfügt. Siehe Einstellungen und Berechtigungen des Replikators konfigurieren

4. Stellen Sie sicher, dass Ihr Netzwerk ACLs die Verbindung zwischen dem MSK Replicator und Ihren Quell- und Zielclustern nicht blockiert.

5. Es ist möglich, dass Quell- oder Ziel-Cluster nicht vollständig verfügbar waren, als der MSK-Replikator versucht hat, eine Verbindung zu ihnen herzustellen. Dies kann auf eine übermäßige Last, Festplattennutzung oder CPU-Auslastung zurückzuführen sein, wodurch der Replikator keine Verbindung zu den Brokern herstellen kann. Beheben Sie das Problem mit den Brokern und versuchen Sie erneut, den Replikator zu erstellen.

Nachdem Sie die oben genannten Validierungen durchgeführt haben, erstellen Sie den MSK-Replikator erneut.

Der MSK-Replikator scheint im Status CREATING festzustecken

Gelegentlich dauert die MSK-Replikator-Erstellung bis zu 30 Minuten. Warten Sie 30 Minuten und überprüfen Sie den Status des Replikators erneut.

Der MSK-Replikator repliziert keine Daten oder repliziert nur Teildaten

Gehen Sie wie folgt vor, um Probleme bei der Datenreplikation zu beheben.

1. Stellen Sie anhand der von MSK Replicator in Amazon bereitgestellten AuthError Metrik sicher, dass bei Ihrem Replicator keine Authentifizierungsfehler auftreten. CloudWatch Wenn diese Metrik über 0 liegt, können Sie überprüfen, ob die Richtlinie der IAM-Rolle für den Replikator gültig ist, und sicherstellen, dass für die Cluster-Berechtigungen keine Verweigerungs-Berechtigungen festgelegt sind. Anhand der clusterAlias-Dimension können Sie feststellen, ob im Quell- oder Ziel-Cluster Authentifizierungsfehler auftreten.

2. Stellen Sie sicher, dass bei Ihren Quell- und Ziel-Clustern keine Probleme auftreten. Es ist möglich, dass der Replikator keine Verbindung zu Ihrem Quell- oder Ziel-Cluster herstellen kann. Dies kann auf zu viele Verbindungen, eine voll ausgelastete Festplatte oder eine hohe CPU-Auslastung zurückzuführen sein.

3. Stellen Sie anhand der KafkaClusterPingSuccessCount Metrik in Amazon sicher, dass Ihre Quell- und Zielcluster von MSK Replicator aus erreichbar sind. CloudWatch Anhand der clusterAlias-Dimension können Sie feststellen, ob im Quell- oder Ziel-Cluster Authentifizierungsfehler auftreten. Wenn diese Metrik 0 ist oder keinen Datenpunkt hat, ist die Verbindung fehlerhaft. Sie sollten die Netzwerk- und IAM-Rollenberechtigungen überprüfen, die MSK-Replikator für die Verbindung mit Ihren Clustern verwendet.

4. Vergewissern Sie sich anhand der ReplicatorFailure Metrik in Amazon, dass Ihr Replicator nicht aufgrund fehlender Berechtigungen auf Themenebene ausfällt. CloudWatch Wenn diese Metrik über 0 liegt, überprüfen Sie die von Ihnen angegebene IAM-Rolle für Berechtigungen auf Themenebene.

5. Vergewissern Sie sich, dass der reguläre Ausdruck, den Sie bei der Erstellung des Replikators in der Zulassungsliste angegeben haben, mit den Namen der Themen übereinstimmt, die Sie replizieren möchten. Stellen Sie außerdem sicher, dass die Themen nicht aufgrund eines regulären Ausdrucks in der Verweigerungsliste von der Replikation ausgeschlossen werden.

6. Beachten Sie, dass es bis zu 30 Sekunden dauern kann, bis der Replicator die neuen Themen oder Themenpartitionen auf dem Zielcluster erkennt und erstellt. Alle Nachrichten, die an das Quellthema gesendet wurden, bevor das Thema auf dem Zielcluster erstellt wurde, werden nicht repliziert, wenn der Replikator die neueste Startposition hat (Standard). Sie können die Replikation auch vom frühesten Offset in den Themenpartitionen des Quellclusters starten, wenn Sie vorhandene Nachrichten zu Ihren Themen auf dem Zielcluster replizieren möchten. Siehe Einstellungen und Berechtigungen des Replikators konfigurieren.

Die Nachrichtenoffsets im Zielcluster unterscheiden sich von denen im Quellcluster

Im Rahmen der Datenreplikation verarbeitet MSK Replicator Nachrichten aus dem Quellcluster und sendet sie an den Zielcluster. Dies kann dazu führen, dass Nachrichten auf Ihren Quell- und Zielclustern unterschiedliche Offsets aufweisen. Wenn Sie jedoch bei der Erstellung des Replikators die Synchronisierung von Offsets für Nutzergruppen aktiviert haben, übersetzt MSK Replicator die Offsets beim Kopieren der Metadaten automatisch, sodass Ihre Benutzer nach einem Failover zum Zielcluster die Verarbeitung fast dort fortsetzen können, wo sie im Quellcluster aufgehört haben.

MSK Replicator synchronisiert keine Nutzungsgruppen, Offsets oder die Nutzungsgruppe ist auf dem Zielcluster nicht vorhanden

Gehen Sie wie folgt vor, um Probleme mit der Metadatenreplikation zu beheben.

1. Stellen Sie sicher, dass Ihre Datenreplikation wie erwartet funktioniert. Falls nicht, siehe Der MSK-Replikator repliziert keine Daten oder repliziert nur Teildaten.

2. Vergewissern Sie sich, dass der reguläre Ausdruck, den Sie bei der Erstellung des Replikators in der Zulassungsliste angegeben haben, mit den Namen der Nutzergruppen übereinstimmt, die Sie replizieren möchten. Stellen Sie außerdem sicher, dass die Nutzergruppen nicht aufgrund eines regulären Ausdrucks in der Ablehnungsliste von der Replikation ausgeschlossen werden.

3. Stellen Sie sicher, dass MSK Replicator das Thema auf dem Zielcluster erstellt hat. Es kann bis zu 30 Sekunden dauern, bis der Replicator die neuen Themen oder Themenpartitionen auf dem Zielcluster erkannt und erstellt hat. Alle Nachrichten, die an das Quellthema gesendet wurden, bevor das Thema auf dem Zielcluster erstellt wurde, werden nicht repliziert, wenn der Replikator die neueste Startposition hat (Standard). Wenn Ihre Nutzergruppe auf dem Quellcluster nur die Nachrichten verwendet hat, die nicht von MSK Replicator repliziert wurden, wird die Nutzungsgruppe nicht auf den Zielcluster repliziert. Nachdem das Thema erfolgreich auf dem Zielcluster erstellt wurde, beginnt MSK Replicator mit der Replikation neu geschriebener Nachrichten auf dem Quellcluster auf das Ziel. Sobald Ihre Nutzergruppe beginnt, diese Nachrichten von der Quelle zu lesen, repliziert MSK Replicator die Nutzergruppe automatisch auf den Zielcluster. Alternativ können Sie die Replikation ab dem frühesten Offset in den Themenpartitionen des Quell-Clusters starten, wenn Sie vorhandene Nachrichten zu Ihren Themen auf dem Zielcluster replizieren möchten. Siehe Einstellungen und Berechtigungen des Replikators konfigurieren.

Anmerkung

MSK Replicator optimiert die Offset-Synchronisierung von Nutzergruppen für Ihre Benutzer auf dem Quellcluster, die von einer Position aus lesen, die näher am Ende der Themenpartition liegt. Wenn Ihre Nutzergruppen im Quell-Cluster hinterherhinken, können Sie bei diesen Nutzergruppen auf dem Ziel-Cluster eine höhere Verzögerung feststellen als beim Quell-Cluster. Das bedeutet, dass Ihre Kunden nach einem Failover auf den Zielcluster mehr doppelte Nachrichten erneut verarbeiten werden. Um diese Verzögerung zu verringern, müssten Ihre Verbraucher auf dem Quell-Cluster aufholen und von der Spitze des Streams (Ende der Themenpartition) aus mit dem Konsum beginnen. Wenn Ihre Kunden aufholen, reduziert MSK Replicator die Verzögerung automatisch.

Die Replikationslatenz ist hoch oder nimmt weiter zu

Im Folgenden sind einige der häufigsten Ursachen für eine hohe Replikationslatenz aufgeführt.

1. Stellen Sie sicher, dass Sie die richtige Anzahl von Partitionen auf Ihren Quell- und Ziel-MSK-Clustern haben. Zu wenige oder zu viele Partitionen können sich auf die Leistung auswirken. Hinweise zur Auswahl der Anzahl von Partitionen finden Sie unter Bewährte Methoden für die Verwendung von MSK-Replikator. Die folgende Tabelle zeigt die empfohlene Mindestanzahl von Partitionen, um mit MSK-Replikator den gewünschten Durchsatz zu erzielen.

   Durchsatz und empfohlene Mindestanzahl von Partitionen

   Durchsatz (MB/s)	Mindestanzahl an Partitionen erforderlich
   50	167
   100	334
   250	833
   500	166
   1000	3333

2. Stellen Sie sicher, dass Ihre Quell- und Ziel-MSK-Cluster über genügend Lese- und Schreibkapazität verfügen, um den Replikations-Datenverkehr zu unterstützen. MSK-Replikator fungiert als Verbraucher für Ihren Quell-Cluster (Ausgang) und als Produzent für Ihren Ziel-Cluster (Eingang). Daher sollten Sie Cluster-Kapazität bereitstellen, um den Replikations-Datenverkehr zusätzlich zu anderem Datenverkehr auf Ihren Clustern zu unterstützen. Hinweise zur Dimensionierung Ihrer MSK-Cluster finden Sie unter Bewährte Methoden für die Verwendung von MSK-Replikator.

3. Die Replikationslatenz kann für MSK-Cluster in verschiedenen Quell- und AWS Zielregionspaaren variieren, je nachdem, wie weit die Cluster geografisch voneinander entfernt sind. Beispielsweise ist die Replikationslatenz bei der Replikation zwischen Clustern in den Regionen Europa (Irland) und Europa (London) in der Regel niedriger als bei der Replikation zwischen Clustern in den Regionen Europa (Irland) und Asien-Pazifik (Sydney).

4. Stellen Sie sicher, dass Ihr Replikator nicht aufgrund zu aggressiver Kontingente auf Ihren Quell- oder Ziel-Clustern gedrosselt wird. Sie können die von MSK Replicator in Amazon bereitgestellte ThrottleTime Metrik verwenden, um die durchschnittliche Zeit in Millisekunden CloudWatch zu ermitteln, für die eine Anfrage von Brokern in Ihrem Quell-/Zielcluster gedrosselt wurde. Wenn diese Metrik über 0 liegt, sollten Sie die Kafka-Kontingente anpassen, um die Drosselung zu reduzieren, damit der Replikator aufholen kann. Informationen zur Verwaltung von Kafka-Kontingenten für den Replikator finden Sie unter Verwaltung des MSK-Replikator-Durchsatzes mithilfe von Kafka-Kontingenten.

5. ReplicationLatency und kann zunehmen, wenn eine Region heruntergestuft wird. MessageLag AWS Verwenden Sie das AWS Service Health Dashboard, um in der Region, in der sich Ihr primärer MSK-Cluster befindet, nach einem MSK-Service-Ereignis zu suchen. Wenn ein Service-Ereignis eintritt, können Sie die Lese- und Schreibvorgänge Ihrer Anwendung vorübergehend an die andere Region weiterleiten.