Migrieren Sie einen lokalen Apache Kafka-Cluster zu Amazon MSK mithilfe von MirrorMaker

Erstellt von Han Zhang (AWS) und Tanner Pratt (AWS)

Übersicht

Dieses Muster bietet Anleitungen für die Migration eines lokalen, selbstverwalteten oder gehosteten Apache Kafka-Clusters zu Amazon Managed Streaming for Apache Kafka (Amazon MSK). Sie können dieses Muster auch verwenden, um von einem Amazon MSK-Cluster zu einem anderen zu migrieren.

Apache Kafka enthält die MirrorMaker Funktion, die Daten zwischen zwei Kafka-Clustern repliziert. MirrorMaker besteht aus einer Sammlung von Verbrauchern, die Teil einer Verbrauchergruppe sind. Die Verbraucher lesen Daten aus den Themen im Quellcluster und geben diese Daten dann an die Produzenten weiter, die die Daten in den Zielcluster schreiben.

Die Amazon MSK-Dokumentation enthält einen allgemeinen Überblick über den Prozess zur Verwendung von MirrorMaker Version 1.0 zur Migration von lokalen Kafka-Clustern zu Amazon MSK. Dieses Muster ergänzt diese Informationen durch umfassende step-by-step Anweisungen zur Verwendung von Version 2.0. MirrorMaker

Voraussetzungen und Einschränkungen

Voraussetzungen

• Ein aktives AWS-Konto

• Ein Kafka-Quellcluster, der einer der folgenden ist:

  • In einem lokalen Rechenzentrum

  • Selbstverwaltet in der Cloud

  • Gehostet von einem Partner

Einschränkungen

• Um MirrorMaker Version 2.0 verwenden zu können, muss auf dem Quellcluster Apache Kafka Version 2.4.0 oder höher ausgeführt werden. Frühere Versionen finden Sie in den Anweisungen in der Amazon MSK-Dokumentation zur Verwendung von MirrorMaker Version 1.0.

Produktversionen

• MirrorMaker Version 2.0

• Apache Kafka Version 2.4.0 oder höher. Weitere Informationen zu den Versionen von Apache Kafka, die Amazon MSK unterstützt, finden Sie unter Unterstützte Apache Kafka-Versionen.

Architektur

Quelltechnologie-Stack

• Lokaler oder selbstverwalteter Kafka-Cluster

Zieltechnologie-Stack

• Amazon-MSK-Cluster

Zielarchitektur

Das Diagramm zeigt den folgenden Prozess:

1. MirrorMaker liest die Daten aus den Themen und Nutzergruppen im Kafka-Quellcluster.

2. MirrorMaker repliziert die Daten und Verbraucherinformationen auf den Amazon MSK-Zielcluster.

Tools

AWS-Services

• Amazon Elastic Compute Cloud (Amazon EC2) bietet skalierbare Rechenkapazität in der AWS-Cloud. Sie können so viele virtuelle Server wie nötig nutzen und sie schnell nach oben oder unten skalieren.

• Amazon Managed Streaming for Apache Kafka (Amazon MSK) ist ein vollständig verwalteter Service, der Sie beim Erstellen und Ausführen von Anwendungen unterstützt, die Apache Kafka zur Verarbeitung von Streaming-Daten verwenden.

• Amazon Virtual Private Cloud (Amazon VPC) hilft Ihnen dabei, AWS-Ressourcen in einem von Ihnen definierten virtuellen Netzwerk zu starten. Dieses virtuelle Netzwerk ähnelt einem herkömmlichen Netzwerk, das Sie in Ihrem eigenen Rechenzentrum betreiben würden, mit den Vorteilen der skalierbaren Infrastruktur von AWS.

Andere Tools

• Apache Kafka ist eine Open-Source-Event-Streaming-Plattform. In diesem Muster verwenden Sie die MirrorMakerFunktion von Kafka, um die clusterübergreifende Migration durchzuführen.

Bewährte Methoden

Sie können es entweder in MirrorMaker der Quell- oder in der Zielumgebung ausführen, es wird jedoch empfohlen, es so nah wie möglich am Zielcluster auszuführen. Weitere Informationen finden Sie unter Best Practice: Consume from Remote, Produce to Local in der Apache Kafka-Dokumentation.

Epen

Erstellen Sie die VPC und den Amazon MSK-Zielcluster

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Erstellen Sie eine VPC.	Erstellen Sie eine VPC im AWS-Zielkonto. Anweisungen finden Sie unter Erstellen einer VPC. Erstellen Sie drei private Subnetze in verschiedenen Availability Zones in der neuen VPC. Anweisungen finden Sie unter Erstellen eines Subnetzes. Die Verwendung verschiedener Availability Zones sorgt für hohe Verfügbarkeit und Fehlertoleranz. Anmerkung Wenn Sie für die Migration des Kafka-Clusters eine öffentliche Internetverbindung verwenden, erstellen Sie öffentliche Subnetze und aktivieren Sie den öffentlichen Zugriff auf den Amazon MSK-Cluster.	AWS-Systemadministrator, DevOps Ingenieur, Cloud-Administrator
Erstellen Sie den Amazon MSK-Cluster.	Erstellen Sie einen Amazon MSK-Cluster. Anweisungen finden Sie unter Erstellen eines Clusters mit der AWS-Managementkonsole oder Erstellen eines Clusters mit der AWS-CLI. Konfigurieren Sie den Cluster so, dass er die VPC und die Subnetze verwendet, die Sie zuvor erstellt haben.	AWS-Systemadministrator, DevOps Ingenieur, Cloud-Administrator

Einrichten MirrorMaker

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Installiere MirrorMaker.	Starten Sie eine EC2 Instanz. Connect zu Ihrer EC2 Instance her. Laden Sie auf der EC2 Instance die neueste Kafka-Version herunter und extrahieren Sie sie. Anweisungen finden Sie unter Schnellstart (Kafka-Dokumentation). Anmerkung In diesem Muster installieren Sie MirrorMaker 2.0 als dedizierten MirrorMaker Cluster auf einer EC2 Amazon-Instance. Diese Option ist für Entwicklungsumgebungen akzeptabel und ist der in diesem Muster verwendete Ansatz. Weitere Informationen zu anderen Bereitstellungsoptionen für MirrorMaker 2.0 finden Sie im Abschnitt Zusätzliche Informationen dieses Musters.	AWS-Systemadministrator, Cloud-Administrator, DevOps Ingenieur
Geben Sie Informationen zum Kafka-Cluster an.	Erstellen Sie im bin Installationsordner des Kafka-Clients eine mm2.properties-Datei und konfigurieren Sie sie für Ihren Kafka-Quellcluster. Anweisungen finden Sie unter Einen dedizierten MirrorMaker Cluster ausführen (Kafka-Dokumentation).	AWS-Systemadministrator, Cloud-Administrator, DevOps Ingenieur
Fangen Sie an MirrorMaker.	Geben Sie den folgenden Befehl ein, um die Datei mm2.properties zu starten MirrorMaker und zu übergeben. $ ./bin/connect-mirror-maker.sh mm2.properties	AWS-Systemadministrator, Cloud-Administrator, DevOps Ingenieur
Überwachen Sie den Fortschritt.	Überprüfen Sie den Fortschritt, indem Sie die Verzögerung zwischen dem letzten Offset für jedes Thema und dem aktuellen Offset für das jeweilige Thema überprüfen, das aufwändig MirrorMaker ist. Eine Anleitung dazu finden Sie in der Kafka-Dokumentation unter Monitoring Geo-Replication.	AWS-Systemadministrator, Cloud-Administrator, DevOps Ingenieur

Überschneiden

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Stoppen Sie die Verbraucheranwendungen.	Stoppen Sie alle Verbraucheranwendungen, die Daten aus dem Quellcluster verbrauchen.	App-Developer
Starten Sie die Verbraucheranwendungen.	Ändern Sie die Bootstrap-Konfiguration der Anwendung so, dass sie auf den Zielcluster verweist. Beginnen Sie dann mit der Nutzung auf dem Zielcluster.	App-Developer
Stoppen Sie die Produzenten auf dem Quellcluster.	Wenn die Verbraucheranwendungen erfolgreich auf dem Zielcluster arbeiten, beenden Sie die Producer auf dem Quellcluster.	App-Developer
Starten Sie die Producers auf dem Zielcluster.	Ändern Sie die Konfiguration der Bootstrap-Server des Herstellers und verweisen Sie auf den Zielcluster. Warten Sie MirrorMaker , bis die Spiegelung aller Daten aus dem Quellcluster abgeschlossen ist, bevor Sie die Producer starten.	App-Developer
Stopp MirrorMaker.	Halten Sie an, nachdem die Produzenten zum Zielcluster gewechselt sind MirrorMaker.	AWS-Systemadministrator, Cloud-Administrator, DevOps Ingenieur

Zugehörige Ressourcen

AWS-Ressourcen

• Migrieren von Clustern mit MirrorMaker (Amazon MSK-Dokumentation)

• Amazon MSK-Migrationslabore (AWS-Workshop-Studio)

Sonstige Ressourcen

• MirrorMaker 2.0 (Verbesserungsvorschläge für Apache Kafka)

• Georeplikation: Clusterübergreifende Datenspiegelung (Apache Kafka-Dokumentation)

Zusätzliche Informationen

Dieses Muster läuft MirrorMaker 2.0 als dedizierter MirrorMaker Cluster auf Amazon EC2. Diese Option ist für Entwicklungsumgebungen akzeptabel. Obwohl es in diesem Muster nicht behandelt wird, können Sie MirrorMaker 2.0 auch in einem Kafka Connect-Cluster ausführen. Diese Bereitstellungsoption verwendet ein Framework innerhalb des Kafka-Ökosystems, das die Skalierung und Wartung verbessert. Sie stellen den Connector in einem Kafka Connect-Cluster mit der zugehörigen Konfiguration bereit, um die Anwendung auszuführen. Der Connector kann für Entwicklungs- oder Testzwecke im eigenständigen Modus oder für die Produktion im verteilten Modus ausgeführt werden. Weitere Informationen finden Sie unter MirrorMaker In einem Connect-Cluster ausführen (Apache Kafka-Dokumentation). Weitere Informationen zu anderen MirrorMaker 2.0-Bereitstellungsoptionen finden Sie unter Exemplarische Vorgehensweise: Running MirrorMaker 2.0 (Kafka-Dokumentation).