Beurteilen Sie die Migrationsbereitschaft mit KI-Tools

Sie können die KI-Fähigkeit migrate-to-msk verwenden, um die Kompatibilität Ihres Quell-Clusters mit Amazon MSK Express zu bewerten und vor Beginn der Migration eine Empfehlung für einen Zielcluster mit der richtigen Größe zu generieren. Dieser Skill vereinfacht die Analyse, die Sie sonst manuell durchführen würden, indem Sie Ihre Apache Kafka-Konfiguration mit den Express-Anforderungen vergleichen. Sie können auch eine optionale Simulation ausführen, die einen temporären Express-Cluster in Ihrer Zielgröße bereitstellt und eine synthetische Last mit einem von Ihnen gewählten Durchsatz erzeugt, sodass Sie vor der Migration sehen können, wie sich dieser Cluster unter Last verhält.

Voraussetzungen

Um den Skill Migrate-to-MSK verwenden zu können, benötigen Sie Folgendes:

• Ein KI-Programmierassistent, der AWS MCP-Fähigkeiten unterstützt, z. B. Amazon Q Developer oder ein kompatibles MCP-enabled Tool. Alternativ können Sie den Skill „Migrate to msk“ direkt aus dem Agent Toolkit auf der AWS Website herunterladen. GitHub

• Kenntnis der Konfiguration Ihres Apache Kafka-Quellclusters. Sie können dies über Infrastructure-as-Code-Dateien (Terraform, AWS CDK, Docker Compose, Kubernetes-Manifeste) AWS CloudFormation, Apache Kafka CLI-Befehlsausgabe oder manuelle Eingabe bereitstellen.

• Python-Laufzeit mit uv installiertem.

• Nur für die optionale Simulationsphase: ein AWS Konto mit konfigurierter AWS CLI und Berechtigungen zur Bereitstellung der Simulationsressourcen (ein MSK Express-Cluster, eine EC2-Flotte zur Lastgenerierung, IAM-Rollen, eine VPC und ein Dashboard). CloudWatch In dieser Phase werden echte Ressourcen in Ihrem Konto erstellt. Für die Ermittlungs- und Bewertungsphasen ist kein Zugriff erforderlich. AWS

Rufen Sie den Skill auf

Rufen Sie den Skill auf, indem Sie Ihren KI-Assistenten bitten, Ihnen bei der Migration zu MSK zu helfen. Sie können Eingabeaufforderungen in natürlicher Sprache verwenden.

Tipp

Beispiele für Aufrufe:

• „Helfen Sie mir, meinen Kafka-Cluster zu MSK Express zu migrieren“

• „Beurteilen Sie die Kompatibilität meines Kafka-Clusters mit MSK Express“

• „Ich möchte meine Streaming-Workloads nach MSK verschieben“

Der Skill führt Sie interaktiv durch den Prozess, indem er Informationen über Ihren Cluster sammelt, diese anhand der Express-Anforderungen analysiert und Artefakte erstellt, die Sie zur Planung Ihrer Migration verwenden können.

Wie funktioniert der Skill

Die Fertigkeit umfasst drei Phasen: Entdeckung, Bewertung und optionale Simulation. In den Ermittlungs- und Bewertungsphasen werden keine API-Aufrufe an Ihren Cluster getätigt und Ihre Infrastruktur nicht geändert. Alle Analysen werden lokal auf den von Ihnen bereitgestellten Daten ausgeführt, und alle Ausgaben werden in Ihrem Arbeitsverzeichnis gespeichert. Die optionale Simulationsphase ist anders: Nachdem Sie das Zielkonto bestätigt und der Bereitstellung zugestimmt haben, werden temporäre Ressourcen in Ihrem AWS Konto bereitgestellt, sodass Sie messen können, wie ein Express-Cluster Ihrer Zielgröße unter synthetischer Last abschneidet.

Phase 1: Entdeckung

Der Skill inventarisiert Ihren Kafka-Quellcluster, indem er Ihre Infrastrukturdateien liest, die Kafka-CLI-Ausgabe aufnimmt oder manuelle Eingaben akzeptiert. Sie extrahiert die Broker-Topologie, die Kafka-Version, Authentifizierungseinstellungen, Themenkonfigurationen und Workload-Metriken in ein strukturiertes Profil, das Phase 2 für die Bewertung verwendet.

Sie können Daten mit einer beliebigen Kombination aus folgenden Optionen bereitstellen:

• Infrastructure-as-code Dateien — Terraform-, CDK-, Docker Compose- oder CloudFormation Kubernetes-Manifeste

• Kafka-CLI-Ausgabe — Der Skill zeigt die Befehle an, die Sie auf Ihrem Cluster ausführen müssen

• Manuelle Eingabe — Sie beschreiben Ihre Cluster-Konfiguration im Gespräch

Phase 2: Bewertung

Der Skill bewertet Ihr Clusterprofil anhand von MSK Express anhand von fünf Kompatibilitätspfeilern und gibt eine Empfehlung zur Größe des Zielclusters aus:

• Topologie — Anzahl der Verfügbarkeitszonen, Anzahl der Broker und Koordinationsmechanismus (KraFT vs.) ZooKeeper

• Kafka-Version — Gibt an, ob Ihre Kafka-Version auf Express unterstützt wird (3.6, 3.8, 3.9) und welche Überlegungen zur Client-Kompatibilität es gibt

• Broker- und Themenkonfigurationen — Welche Ihrer benutzerdefinierten Konfigurationen werden übernommen, welche werden von Express intern verwaltet und welche müssen angepasst werden

• Authentifizierung — Gibt an, ob Ihr Authentifizierungsmechanismus auf Express unterstützt wird

• Kontingente — Gibt an, ob Ihr Workload innerhalb der Express-Grenzwerte für Durchsatz, Partition und Verbindung pro Broker liegt

Jede Säule führt zu einem der folgenden Ergebnisarten:

• INFO — Ihre Quellkonfiguration stimmt bereits mit MSK Express überein. Keine Aktion erforderlich.

• HINWEIS — Ihre Quellkonfiguration unterscheidet sich von MSK Express, Express nimmt die Anpassung jedoch automatisch vor. Überprüfen Sie die Änderung, damit das daraus resultierende Verhalten erwartet wird.

• ACTION_REQUIRED — Eine Konfiguration oder Bedingung, die MSK Express in ihrer aktuellen Form nicht unterstützt. Führen Sie vor der Migration eine Standardisierung auf dem Quellcluster durch.

Phase 3: Simulation (optional)

Der Skill kann einen temporären, isolierten MSK Express-Cluster und eine Client-Flotte zur Lastgenerierung in Ihrem AWS Konto bereitstellen, sodass Sie vor der Migration sehen können, wie sich ein Express-Cluster Ihrer Zielgröße unter Last verhält. Diese Phase ist optional und wird erst ausgeführt, nachdem Sie das Zielkonto bestätigt und der Bereitstellung ausdrücklich zugestimmt haben. Pro Konto kann jeweils nur eine Simulation existieren.

Wichtig

In der Simulationsphase werden reale Ressourcen in Ihrem AWS Konto — ein MSK Express-Cluster und eine EC2-Flotte — bereitgestellt, für die weiterhin Gebühren anfallen, bis Sie sie löschen. Wenn Sie fertig sind, bitten Sie den Skill, die Simulation abzubauen, oder löschen Sie den CloudFormation Stack selbst, damit keine Kosten mehr entstehen.

Sie wählen die Clustergröße — Express-Instance-Typ, Broker-Anzahl und Kafka-Version — aus Ihren Bewertungsergebnissen oder direkt aus. Der Skill stellt den Cluster und die Flotte bereit, und Sie installieren einen von Ihnen bereitgestellten Kafka-Client. Anschließend führen Sie einen von zwei Tests durch:

• End-to-End Latenz — Die Produzenten streben einen konstanten Zieldurchsatz an, während die Skill-Samples eine Round-Trip-Latenz zwischen Produktion und Verbrauch verfolgen.

• Broker-Neustart unter Last — Der Cluster behält den Zieldurchsatz bei, während ein Broker neu gestartet wird, sodass Sie das Failover-Verhalten und die Wiederherstellung beobachten können.

Der Skill erstellt ein CloudWatch Amazon-Dashboard, in dem die Testmetriken — Clusterdurchsatz, Brokerstatus, clientseitige Latenz und Kundenverzögerung — angezeigt werden. Sie interpretieren die Ergebnisse anhand Ihrer eigenen Leistungsziele.

Ergebnisse Ihrer Fähigkeiten

Der Skill speichert die folgenden Artefakte migrate-to-msk-skill-artifacts/<cluster_name>/ in Ihrem Arbeitsverzeichnis:

• Clusterprofil (cluster-config.json) — Eine strukturierte Bestandsaufnahme Ihres Quell-Clusters. Sie können diese Datei überprüfen und verfeinern, bevor Sie die Bewertung ausführen.

• Kompatibilitätsbericht (compatibility.<cluster_name>.json) — Detaillierte Ergebnisse für jede der fünf Säulen der Bewertung, einschließlich Konfigurationsschlüsseln, aktuellen Werten und MSK Express-Anforderungen.

• Arbeitsmappe zur Größenbestimmung (MSK_Sizing_Pricing.<cluster_name>.xlsx) — Die MSK-Arbeitsmappe zur Größenbestimmung und Preisgestaltung, in der Ihre Workload-Eingaben bereits ausgefüllt sind. Öffnen Sie die Arbeitsmappe in einer Tabellenkalkulationsanwendung, um den empfohlenen Express-Broker-Typ, die Anzahl der Makler und die geschätzten monatlichen Kosten anzuzeigen.

• Datensatz für Größeneingaben (msk-sizing-inputs.<cluster_name>.json) — Ein JSON-Datensatz der Workload-Werte, die anhand Ihres Clusterprofils berechnet wurden, und der Arbeitsmappenzellen, denen sie zugeordnet sind.

Verwenden Sie diese Artefakte, um Ihren Migrationszeitplan zu planen, Kosten zu schätzen und Konfigurationsänderungen zu identifizieren, die Sie vornehmen müssen, bevor Sie Ihren MSK Express-Cluster erstellen und Amazon MSK Replicator für die Datenmigration einrichten.

Wenn Sie die optionale Simulationsphase ausführen, werden stattdessen ein AWS CloudFormation Stack (der Express-Cluster, die Flotte zur Lastgenerierung und unterstützende Ressourcen) und ein CloudWatch Amazon-Dashboard in Ihrem Konto bereitgestellt, anstatt lokale Dateien zu schreiben.