Erstellen eines Amazon-MSK-Clusters

Wichtig

Sie können die VPC für einen Amazon-MSK-Cluster nach dem Erstellen des Clusters nicht mehr ändern.

Bevor Sie einen Amazon-MSK-Cluster erstellen können, benötigen Sie eine Amazon Virtual Private Cloud (VPC) und müssen Subnetze innerhalb dieser VPC einrichten.

Sie benötigen zwei Subnetze in zwei verschiedenen Availability Zones in der Region USA West (Nordkalifornien). Für andere Regionen, in denen Amazon MSK verfügbar ist, können Sie entweder zwei oder drei Subnetze angeben. Die beiden Subnetze müssen sich in verschiedenen Availability Zones befinden. Wenn Sie einen Cluster erstellen, verteilt Amazon MSK die Broker-Knoten gleichmäßig über die von Ihnen angegebenen Subnetze.

Größen der Makler

Wenn Sie einen Amazon MSK-Cluster erstellen, geben Sie die Größe der Broker an, die er haben soll. Amazon MSK unterstützt die folgenden Brokergrößen:

• kafka.t3.small

• kafka.m5.large, kafka.m5.xlarge, kafka.m5.2xlarge, kafka.m5.4xlarge, kafka.m5.8xlarge, kafka.m5.12xlarge, kafka.m5.16xlarge, kafka.m5.24xlarge

• kafka.m7g.large, kafka.m7g.xlarge, kafka.m7g.2xlarge, kafka.m7g.4xlarge, kafka.m7g.8xlarge, kafka.m7g.12xlarge, kafka.m7g.16xlarge

M7g-Broker verwenden AWS Graviton-Prozessoren (kundenspezifische ARM-basierte Prozessoren, die von Amazon Web Services entwickelt wurden). M7g-Broker bieten im Vergleich zu vergleichbaren M5-Instances ein besseres Preis-Leistungs-Verhältnis. M7g-Broker verbrauchen weniger Strom als vergleichbare M5-Instances.

M7g Graviton-Broker sind in diesen Regionen nicht verfügbar: CDG (Paris), CGK (Jakarta), CPT (Kapstadt), DXB (Dubai), HKG (Hongkong), KIX (Osaka), LHR (London), MEL (Melbourne), MXP (Mailand), OSU (US-Ost), PDT (US-West), TLV (Tel Aviv), YYC (Calgary), ZRH (Zürich).

MSK unterstützt m7G-Broker auf Clustern, auf denen eine der folgenden Kafka-Versionen ausgeführt wird:

• 2.8.2. mehrstufig

• 3.3.2

• 3.4.0

• 3.5.1

• 3.6.0 mit mehrstufigem Speicher

• 3.7.x

• 3.7.x.kraft

M7g- und M5-Broker bieten eine höhere Ausgangsdurchsatzleistung als T3-Broker und werden für Produktionsworkloads empfohlen. M7g- und M5-Broker können auch mehr Partitionen pro Broker haben als T3-Broker. Verwenden Sie M7g- oder M5-Broker, wenn Sie größere produktionstaugliche Workloads ausführen oder eine größere Anzahl von Partitionen benötigen. Weitere Informationen zu den Instance-Größen M7g und M5 finden Sie unter Amazon EC2 General Purpose Instances.

T3-Broker haben die Möglichkeit, CPU-Guthaben zu verwenden, um die Leistung vorübergehend zu steigern. Verwenden Sie T3-Broker für eine kostengünstige Entwicklung, wenn Sie kleine bis mittlere Streaming-Workloads testen oder Streaming-Workloads mit niedrigem Durchsatz haben, bei denen temporäre Spitzen auftreten. Wir empfehlen Ihnen, einen proof-of-concept Test durchzuführen, um festzustellen, ob T3-Broker für die Produktion oder kritische Workloads ausreichend sind. Weitere Informationen zu den Größen von T3-Brokern finden Sie unter Amazon EC2T3-Instances.

Weitere Informationen zur Auswahl der Broker-Größen finden Sie unter. Bewährte Methoden

Erstellen eines Clusters mit dem AWS Management Console

In diesem Prozess wird die allgemeine Aufgabe beschrieben, einen bereitgestellten Cluster mithilfe benutzerdefinierter Erstellungsoptionen zu erstellen. Sie können in der MSK-Konsole andere Optionen auswählen, um einen serverlosen Cluster zu erstellen.

1. Öffnen Sie die Amazon-MSK-Konsole unter https://console.aws.amazon.com/msk/.

2. Wählen Sie Cluster erstellen.

3. Wählen Sie als Methode zur Clustererstellung die Option Benutzerdefiniert aus.

4. Geben Sie einen Clusternamen an, der eindeutig ist und nicht mehr als 64 Zeichen enthält.

5. Wählen Sie als Clustertyp die Option Bereitgestellt aus, sodass Sie die Anzahl der Broker, die Broker-Größe und die Cluster-Speicherkapazität angeben können.

6. Wählen Sie die Apache Kafka-Version aus, die Sie auf den Brokern ausführen möchten. Um einen Vergleich der MSK-Funktionen zu sehen, die von den einzelnen Apache Kafka-Versionen unterstützt werden, wählen Sie Versionskompatibilität anzeigen aus.

7. Abhängig von der ausgewählten Apache Kafka-Version haben Sie möglicherweise die Möglichkeit, den Metadatenmodus des Clusters zu wählen: ZooKeeper oder KraFT.

8. Wählen Sie auf der Grundlage der Rechen-, Arbeitsspeicher- und Speicheranforderungen des Clusters eine Broker-Größe aus, die für den Cluster verwendet werden soll. Weitere Informationen finden Sie unter Größen der Makler,

9. Wählen Sie die Anzahl der Zonen aus, auf die die Broker verteilt sind.

10. Geben Sie die Anzahl der Broker an, die MSK in jeder Availability Zone erstellen soll. Das Minimum ist ein Broker pro Availability Zone und das Maximum beträgt 30 Broker pro Cluster für ZooKeeper basierte Cluster und 60 Broker pro Cluster für Kraft-basierte Cluster.

11. Wählen Sie die anfängliche Speichermenge aus, über die Ihr Cluster verfügen soll. Sie können die Speicherkapazität nicht verringern, nachdem Sie den Cluster erstellt haben.

12. Abhängig von der ausgewählten Brokergröße (Instanzgröße) können Sie den Durchsatz für bereitgestellten Speicher pro Broker angeben. Um diese Option zu aktivieren, wählen Sie Broker-Größe (Instanzgröße) kafka.m5.4xlarge oder größer für x86 und kafka.m7g.2xlarge oder größer für Graviton-basierte Instances. Siehe Bereitstellen des Speicherdurchsatzes.

13. Wählen Sie eine Option für den Cluster-Speichermodus, entweder nur EBS-Speicher oder Tiered Storage und EBS-Speicher.

14. Wenn Sie eine benutzerdefinierte Clusterkonfiguration erstellen und verwenden möchten (oder wenn Sie bereits eine Clusterkonfiguration gespeichert haben), wählen Sie eine Konfiguration aus. Andernfalls können Sie den Cluster mit der Amazon MSK-Standard-Cluster-Konfiguration erstellen. Informationen zu Amazon-MSK-Konfigurationen finden Sie unter Amazon-MSK-Konfiguration.

15. Klicken Sie auf Weiter.

16. Wählen Sie für Netzwerkeinstellungen die VPC aus, die Sie für den Cluster verwenden möchten.

17. Geben Sie basierend auf der Anzahl der Zonen, die Sie zuvor ausgewählt haben, die Availability Zones und Subnetze an, in denen Broker bereitstellen werden. Diese Subnetze müssen zu verschiedenen Availability-Zonen gehören.

18. Sie können eine oder mehrere Sicherheitsgruppen auswählen, denen Sie Zugriff auf Ihren Cluster gewähren möchten (z. B. die Sicherheitsgruppen von Client-Computern). Wenn Sie Sicherheitsgruppen angeben, die mit Ihnen gemeinsam genutzt werden, müssen Sie sicherstellen, dass Sie über die entsprechenden Berechtigungen verfügen. Insbesondere benötigen Sie die ec2:DescribeSecurityGroups-Berechtigung. Verbindung zu einem Amazon MSK-Cluster herstellen.

19. Klicken Sie auf Weiter.

20. Wählen Sie die Zugriffskontrollmethoden und Verschlüsselungseinstellungen des Clusters aus, um Daten bei der Übertragung zwischen Clients und Brokern zu verschlüsseln. Weitere Informationen finden Sie unter Verschlüsselung während der Übertragung.

21. Wählen Sie den KMS-Schlüssel aus, den Sie für die Verschlüsselung von Daten im Ruhezustand verwenden möchten. Weitere Informationen finden Sie unter Verschlüsselung im Ruhezustand.

22. Klicken Sie auf Weiter.

23. Wählen Sie das gewünschte Monitoring und die gewünschten Tags aus. Dies bestimmt den Satz der Metriken, die Sie erhalten. Weitere Informationen finden Sie unter Überwachung eines Amazon-MSK-Clusters. Amazon CloudWatch -, Prometheus -, Broker Log Delivery - oder Cluster-Tags und wählen Sie dann Weiter aus.

24. Überprüfen Sie die Einstellungen für Ihren Cluster. Sie können zurückgehen und Einstellungen ändern, indem Sie Zurück wählen, um zum vorherigen Konsolenbildschirm zurückzukehren, oder Bearbeiten, um bestimmte Clustereinstellungen zu ändern. Wenn die Einstellungen korrekt sind, wählen Sie Cluster erstellen aus.

25. Überprüfen Sie den Cluster-Status auf der Seite Cluster-Zusammenfassung. Der Status ändert sich von Erstellen auf Aktiv, wenn Amazon MSK den Cluster bereitstellt. Wenn der Status Active lautet, können Sie die Verbindung mit dem Cluster herstellen. Weitere Informationen zu Cluster-Status finden Sie unter Cluster-Status.

Erstellen eines Clusters mit dem AWS CLI

1. Kopieren Sie das folgende JSON und speichern Sie es in einer Datei. Benennen Sie die Datei brokernodegroupinfo.json. Ersetzen Sie die Subnetz-IDs im JSON durch die Werte, die Ihren Subnetzen entsprechen. Diese Subnetze müssen sich in verschiedenen Availability Zones befinden. Ersetzen Sie „Security-Group-ID“ durch die ID mindestens einer Sicherheitsgruppe der Client-VPC. Clients, die diesen Sicherheitsgruppen zugeordnet sind, erhalten Zugriff auf den Cluster. Wenn Sie Sicherheitsgruppen angeben, die für Sie freigegeben wurden, müssen Sie sicherstellen, dass Sie über Berechtigungen für diese verfügen. Insbesondere benötigen Sie die ec2:DescribeSecurityGroups-Berechtigung. Ein Beispiel finden Sie unter Amazon EC2: Ermöglicht es, die mit einer bestimmten VPC verknüpften EC2-Sicherheitsgruppen programmgesteuert und in der Konsole zu verwalten. Speichern Sie abschließend die aktualisierte JSON-Datei auf dem Computer, auf dem Sie sie AWS CLI installiert haben.

   {
     "InstanceType": "kafka.m5.large",
     "ClientSubnets": [
       "Subnet-1-ID",
       "Subnet-2-ID"
     ],
     "SecurityGroups": [
       "Security-Group-ID"
     ]
   }

   Wichtig

   Geben Sie genau zwei Subnetze an, wenn Sie die Region USA West (Nordkalifornien) verwenden. Für andere Regionen, in denen Amazon MSK verfügbar ist, können Sie entweder zwei oder drei Subnetze angeben. Die von Ihnen angegebenen Subnetze müssen sich in verschiedenen Availability Zones befinden. Wenn Sie einen Cluster erstellen, verteilt Amazon MSK die Broker-Knoten gleichmäßig über die von Ihnen angegebenen Subnetze.

2. Führen Sie den folgenden AWS CLI Befehl in dem Verzeichnis aus, in dem Sie die brokernodegroupinfo.json Datei gespeichert haben, und ersetzen Sie „Your-Cluster-Name“ durch einen Namen Ihrer Wahl. Als „Überwachungsebene“, können Sie einen der folgenden drei Werte angeben: DEFAULT, PER_BROKER oder PER_TOPIC_PER_BROKER. Hinweise zu diesen drei verschiedenen Überwachungsbenen finden Sie unter Überwachung eines Amazon-MSK-Clusters. Der Parameter enhanced-monitoring ist optional. Ohne weitere Angaben im create-cluster-Befehl erhalten Sie die DEFAULT-Überwachungsebene.

   aws kafka create-cluster --cluster-name "Your-Cluster-Name" --broker-node-group-info file://brokernodegroupinfo.json --kafka-version "2.8.1" --number-of-broker-nodes 3 --enhanced-monitoring "Monitoring-Level"

   Die Ausgabe des Befehls sieht wie das folgende JSON aus:

   {
       "ClusterArn": "...",
       "ClusterName": "AWSKafkaTutorialCluster",
       "State": "CREATING"
   }

   Anmerkung

   Der create-cluster-Befehl gibt möglicherweise einen Fehler zurück, der besagt, dass ein oder mehrere Subnetze nicht unterstützten Availability Zones angehören. In diesem Fall gibt der Fehler an, welche Availability Zones nicht unterstützt werden. Erstellen Sie Subnetze, bei denen die nicht unterstützten Availability Zones nicht verwendet werden, und versuchen Sie es erneut mit dem create-cluster-Befehl.

3. Speichern Sie den Wert des ClusterArn-Schlüssels, da Sie ihn zum Ausführen anderer Aktionen im Cluster benötigen.

4. Führen Sie den folgenden Befehl aus, um einen Cluster zu überprüfen STATE. Der STATE-Wert ändert sich von CREATING zu ACTIVE, wenn Amazon MSK den Cluster bereitstellt. Wenn der Status ACTIVE lautet, können Sie die Verbindung mit dem Cluster herstellen. Weitere Informationen zu Cluster-Status finden Sie unter Cluster-Status.

   aws kafka describe-cluster --cluster-arn <your-cluster-ARN>

Erstellen eines Clusters mit einer benutzerdefinierten Amazon MSK-Konfiguration mithilfe der AWS CLI

Weitere Informationen zu benutzerdefinierten Amazon-MSK-Konfigurationen und deren Erstellung finden Sie unter Amazon-MSK-Konfiguration.

1. Speichern Sie den folgenden JSON in einer Datei und ersetzen Sie configuration-arn durch den ARN der Konfiguration, die Sie zum Erstellen des Clusters verwenden möchten.

   {
       "Arn": configuration-arn,
       "Revision": 1
   }

2. Führen Sie den create-cluster-Befehl aus und weisen Sie mithilfe der configuration-info-Option, auf die JSON-Datei, die Sie im vorherigen Schritt gespeichert haben. Im Folgenden wird ein Beispiel gezeigt.

   aws kafka create-cluster --cluster-name ExampleClusterName --broker-node-group-info file://brokernodegroupinfo.json --kafka-version "2.8.1" --number-of-broker-nodes 3 --enhanced-monitoring PER_TOPIC_PER_BROKER --configuration-info file://configuration.json

   Im Folgenden finden Sie ein Beispiel für eine erfolgreiche Antwort nach der Ausführung dieses Befehls.

   {
       "ClusterArn": "arn:aws:kafka:us-east-1:123456789012:cluster/CustomConfigExampleCluster/abcd1234-abcd-dcba-4321-a1b2abcd9f9f-2",
       "ClusterName": "CustomConfigExampleCluster",
       "State": "CREATING"
   }

Erstellen eines Clusters mit der API

Informationen zum Erstellen eines Clusters mithilfe der API finden Sie unter CreateCluster.