Willkommen beim Entwicklerhandbuch für Amazon MSK

Willkommen beim Entwicklerhandbuch für Amazon MSK. Die folgenden Themen erleichtern Ihnen den Einstieg in dieses Handbuch anhand dessen, was Sie erreichen möchten.

• Erstellen Sie einen Amazon-MSK-Cluster, indem Sie dem Erste Schritte mit Amazon MSK-Tutorial folgen.

• Tauchen Sie tiefer in die Funktionalität von Amazon MSK in Amazon MSK: Funktionsweise ein.

• Führen Sie Apache Kafka aus, ohne die Cluster-Kapazität verwalten und skalieren zu müssen, mit MSK Serverless.

• Verwenden Sie MSK Connect, um Daten zu und von Ihrem Apache-Kafka-Cluster zu streamen.

• Wird verwendetMSK-Replikator, um Daten zuverlässig über Amazon MSK-Cluster in verschiedenen oder derselben AWS Region (en) zu replizieren.

Highlights, weitere Produktdetails und Preise finden Sie auf der Serviceseite für Amazon MSK.

Was ist Amazon MSK?

Amazon Managed Streaming for Apache Kafka (Amazon MSK) ist ein vollständig verwalteter Service, mit dem Sie Anwendungen erstellen und ausführen können, die Apache Kafka zum Verarbeiten von Streaming-Daten verwenden. Amazon MSK stellt die Vorgänge auf Steuerebene bereit, z. B. zum Erstellen, Aktualisieren und Löschen von Clustern. Damit können Sie Apache Kafka-Operationen auf Datenebene verwenden, z. B. zum Erstellen und Nutzen von Daten. Es werden Open-Source-Versionen von Apache Kafka ausgeführt. Das bedeutet, dass vorhandene Anwendungen, Tools und Plugins von Partnern und der Apache Kafka-Community unterstützt werden, ohne dass Änderungen am Anwendungscode erforderlich sind. Sie können Amazon MSK verwenden, um Cluster zu erstellen, die sämtliche Apache-Kafka-Versionen verwenden, die unter Unterstützte Apache Kafka-Versionen aufgeführt sind.

Diese Komponenten beschreiben die Architektur von Amazon MSK:

• Broker-Knoten – Wenn Sie einen Amazon-MSK-Cluster erstellen, geben Sie an, wie viele Broker-Knoten Amazon MSK in jeder Availability Zone erstellen soll. Das Minimum ist ein Broker pro Availability Zone. Jede Availability Zone hat ein eigenes VPC(Virtual Private Cloud)-Subnetz.

• ZooKeeper Knoten — Amazon MSK erstellt auch die ZooKeeper Apache-Knoten für Sie. Apache ZooKeeper ist ein Open-Source-Server, der eine äußerst zuverlässige verteilte Koordination ermöglicht.

• KraFT-Controller — Die Apache Kafka-Community hat KraFT entwickelt, um Apache ZooKeeper für die Metadatenverwaltung in Apache Kafka-Clustern zu ersetzen. Im KraFT-Modus werden Cluster-Metadaten innerhalb einer Gruppe von Kafka-Controllern, die Teil des Kafka-Clusters sind, und nicht knotenübergreifend verbreitet. ZooKeeper KraFT-Controller sind ohne zusätzliche Kosten für Sie enthalten und erfordern keine zusätzliche Einrichtung oder Verwaltung durch Sie.

  Anmerkung

  Ab Apache Kafka Version 3.7.x auf MSK können Sie Cluster erstellen, die den KraFT-Modus anstelle des Modus verwenden. ZooKeeper

• Produzenten, Verbraucher und Themenersteller – Mit Amazon MSK können Sie Apache-Kafka-Vorgänge auf Datenebene verwenden, um Themen zu erstellen und Daten zu produzieren und zu verbrauchen.

• Cluster-Operationen Sie können die APIs AWS Management Console, die AWS Command Line Interface (AWS CLI) oder die APIs im SDK verwenden, um Operationen auf der Steuerungsebene auszuführen. Sie können beispielsweise einen Amazon-MSK-Cluster erstellen oder löschen, alle Cluster in einem Konto auflisten, die Eigenschaften eines Clusters anzeigen und die Anzahl und den Typ der Broker in einem Cluster aktualisieren.

Amazon MSK erkennt die häufigsten Ausfallszenarien und stellt sich automatisch wieder her, sodass Ihre Produzenten- und Verbraucher-Anwendungen ihre Schreib- und Lesevorgänge mit minimalen Auswirkungen fortsetzen können. Wenn Amazon MSK einen Broker-Fehler entdeckt, wird der fehlerhafte oder nicht erreichbaren Broker durch einen neuen Broker ersetzt. Darüber hinaus wird, soweit möglich, der Speicher des älteren Brokers wiederverwendet, um die von Apache Kafka zu replizierende Datenmenge zu verringern. Die Auswirkungen auf Ihre Verfügbarkeit sind auf den Zeitraum begrenzt, den Amazon MSK für die Erkennung und Wiederherstellung benötigt. Nach einer Wiederherstellung können Ihre Hersteller- und Verbraucheranwendungen weiterhin mit denselben Broker-IP-Adressen kommunizieren, die sie vor dem Ausfall verwendet haben.