Fehlerbehebung bei Amazon MSK Connect - Amazon Managed Streaming für Apache Kafka

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Fehlerbehebung bei Amazon MSK Connect

Die folgenden Informationen können zum Beheben von Problemen nützlich sein, die Sie bei der Verwendung von MSK Connect haben könnten. Sie können Ihr Problem auch im AWS re:Post posten.

Der Konnektor kann nicht auf Ressourcen zugreifen, die im öffentlichen Internet gehostet werden

Siehe Aktivieren des Internetzugangs für Amazon MSK Connect.

Die Anzahl der laufenden Aufgaben im Konnektor entspricht nicht der Anzahl der in tasks.max angegebenen Aufgaben

Hier sind einige Gründe, warum ein Konnektor möglicherweise weniger Aufgaben als die angegebene tasks.max-Konfiguration verwendet:

  • Einige Konnektor-Implementierungen begrenzen die Anzahl der Aufgaben, die verwendet werden können. Zum Beispiel ist der Debezium-Konnektor für MySQL auf die Verwendung einer einzigen Aufgabe beschränkt.

  • Bei Verwendung des automatisch skalierten Kapazitätsmodus überschreibt Amazon MSK Connect die tasks.max-Eigenschaft eines Konnektors mit einem Wert, der proportional zur Anzahl der Worker, die im Konnektor laufen, und zur Anzahl der MCUs pro Worker ist.

  • Bei Sink-Konnektoren darf der Grad der Parallelität (Anzahl der Aufgaben) nicht höher sein als die Anzahl der Themenpartitionen. Sie können den Wert tasks.max zwar größer einstellen, aber eine einzelne Partition wird nie von mehr als einer einzelnen Aufgabe gleichzeitig verarbeitet.

  • In Kafka Connect 2.7.x ist der standardmäßige Verbraucher-Partitionszuweiser RangeAssignor. Das Verhalten dieses Zuweisers besteht darin, die erste Partition jedes Themas einem einzelnen Verbraucher zuzuweisen, die zweite Partition jedes Themas einem einzelnen Verbraucher usw. Das bedeutet, dass die maximale Anzahl von aktiven Aufgaben für einen Sink-Konnektor, der RangeAssignor verwendet, der maximalen Anzahl von Partitionen in einem einzelnen Thema entspricht, die verwendet werden. Wenn dies für Ihren Anwendungsfall nicht funktioniert, sollten Sie eine Worker-Konfiguration erstellen, in der die Eigenschaft consumer.partition.assignment.strategy auf einen geeigneteren Verbraucher-Partitionszuweiser gesetzt ist. Siehe Kafka 2.7-Schnittstelle ConsumerPartitionAssignor: Alle bekannten Implementierungsklassen.