Migrieren Sie Sink-Konnektoren zu Amazon MSK Connect - Amazon Managed Streaming für Apache Kafka

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Migrieren Sie Sink-Konnektoren zu Amazon MSK Connect

Sink Connectors sind Apache Kafka Connect-Anwendungen, die Daten von Kafka in externe Systeme exportieren. In diesem Abschnitt wird der Prozess für die Migration von Apache Kafka Connect Sink Connector-Anwendungen beschrieben, auf denen lokale oder selbstverwaltete Kafka Connect-Cluster ausgeführt werden, die auf AWS Amazon MSK Connect ausgeführt werden.

Kafka Connect-Sink-Konnektoren verwenden die Kafka-API für Gruppenmitgliedschaft und speichern Offsets in denselben __consumer_offset Themen wie eine typische Verbraucheranwendung. Dieses Verhalten vereinfacht die Migration des Sink-Connectors von einem selbstverwalteten Cluster zu Amazon MSK Connect.

Gehen Sie folgendermaßen vor, um Sink-Konnektoren zu Amazon MSK Connect zu migrieren:

  1. Erstellen Sie ein benutzerdefiniertes Amazon MSK Connect-Plug-in, indem Sie Connector-Bibliotheken aus Ihrem lokalen oder selbstverwalteten Kafka Connect-Cluster abrufen.

  2. Erstellen Sie Amazon MSK Connect-Worker-Eigenschaften und legen Sie die Eigenschaften key.converter und value.converter auf dieselben Werte fest, die für den Kafka-Konnektor festgelegt sind, der in Ihrem vorhandenen Kafka Connect-Cluster ausgeführt wird.

  3. Halten Sie die Connector-Anwendung auf Ihrem vorhandenen Cluster an, indem Sie eine PUT /connectors/connector-name/pause Anfrage auf dem vorhandenen Kafka Connect-Cluster stellen.

  4. Stellen Sie sicher, dass alle Aufgaben der Connector-Anwendung vollständig beendet sind. Sie können die Aufgaben beenden, indem Sie entweder eine GET /connectors/connector-name/status Anfrage im vorhandenen Kafka Connect-Cluster stellen oder indem Sie die Nachrichten aus dem Themennamen verwenden, der für die Eigenschaft status.storage.topic festgelegt ist.

  5. Rufen Sie die Konnektorkonfiguration aus dem vorhandenen Cluster ab. Sie können die Konnektorkonfiguration entweder abrufen, indem Sie eine GET /connectors/connector-name/config Anfrage für den vorhandenen Cluster stellen oder indem Sie die Nachrichten aus dem Themennamen verwenden, der für die Eigenschaft festgelegt istconfig.storage.topic.

  6. Erstellen Sie einen neuen Amazon MSK Connector mit demselben Namen wie der bestehende Cluster. Erstellen Sie diesen Connector mithilfe des benutzerdefinierten Connector-Plug-ins, das Sie in Schritt 1 erstellt haben, der Worker-Eigenschaften, die Sie in Schritt 2 erstellt haben, und der Connector-Konfiguration, die Sie in Schritt 5 extrahiert haben.

  7. Wenn der Amazon MSK Connector-Status lautetactive, überprüfen Sie anhand der Protokolle, ob der Connector mit dem Import von Daten aus dem Quellsystem begonnen hat.

  8. Löschen Sie den Connector im vorhandenen Cluster, indem DELETE /connectors/connector-name Sie eine Anfrage stellen.