Bereitstellen des Speicherdurchsatzes

Amazon-MSK-Broker speichern Daten auf Speichervolumes. Speicher-I/O wird verbraucht, wenn Produzenten in den Cluster schreiben, wenn Daten zwischen Brokern repliziert werden und wenn Verbraucher Daten lesen, die sich nicht im Arbeitsspeicher befinden. Der Volumenspeicherdurchsatz ist die Geschwindigkeit, mit der Daten in ein Speichervolume geschrieben und von diesem gelesen werden können. Beim bereitgestellten Speicherdurchsatz handelt es sich um die Möglichkeit, diese Rate für die Broker in Ihrem Cluster festzulegen.

Sie können die bereitgestellte Durchsatzrate in MiB pro Sekunde für Cluster angeben, deren Broker größer kafka.m5.4xlarge oder größer sind und wenn das Speichervolumen 10 GiB oder mehr beträgt. Es ist möglich, den bereitgestellten Durchsatz bei der Cluster-Erstellung anzugeben. Sie können den bereitgestellten Durchsatz auch für einen Cluster aktivieren oder deaktivieren, der sich im Status ACTIVE befindet.

Durchsatz-Engpässe

Es gibt mehrere Ursachen für Engpässe beim Broker-Durchsatz: den Volumendurchsatz, den Netzwerkdurchsatz von Amazon EC2 zu Amazon EBS und den Amazon-EC2-Ausgangsdurchsatz. Sie können den bereitgestellten Speicherdurchsatz aktivieren, um den Volumendurchsatz anzupassen. Einschränkungen des Broker-Durchsatzes können jedoch durch den Netzwerkdurchsatz von Amazon EC2 zu Amazon EBS und den Amazon-EC2-Ausgangsdurchsatz verursacht werden.

Der Amazon-EC2-Ausgangsdurchsatz wird von der Anzahl der Verbrauchergruppen und der Verbraucher pro Verbrauchergruppe beeinflusst. Außerdem sind sowohl der Netzwerkdurchsatz von Amazon EC2 zu Amazon EBS als auch der Amazon EC2 EC2-Ausgangsdurchsatz bei größeren Brokern höher.

Für Volumengrößen von 10 GiB oder mehr können Sie einen Speicherdurchsatz von 250 MiB pro Sekunde oder mehr bereitstellen. 250 MiB pro Sekunde ist die Standardeinstellung. Um den Speicherdurchsatz bereitzustellen, müssen Sie die Broker-Größe kafka.m5.4xlarge oder größer (oder kafka.m7g.2xlarge oder größer) wählen, und Sie können den maximalen Durchsatz angeben, wie in der folgenden Tabelle dargestellt.

Größe des Brokers	Maximaler Speicherdurchsatz (MiB/s)
kafka.m5.4xlarge	593
kafka.m5.8xlarge	850
kafka.m5.12xlarge	1000
kafka.m 5.16x groß	1000
kafka.m5.24xlarge	1000
kafka.m 7 g, 2 x groß	312,5
kafka.m7g.4x groß	625
kafka.m7g.8xgroß	1000
kafka.m7g.12x groß	1000
kafka.m7g.16x groß	1000

Messung des Speicherdurchsatzes

Sie können die Metriken VolumeReadBytes und VolumeWriteBytes verwenden, um den durchschnittlichen Speicherdurchsatz eines Clusters zu messen. Die Summe dieser beiden Metriken ergibt den durchschnittlichen Speicherdurchsatz in Bytes. Um den durchschnittlichen Speicherdurchsatz für einen Cluster zu ermitteln, setzen Sie diese beiden Metriken auf SUM und den Zeitraum auf 1 Minute, und verwenden Sie dann die folgende Formel.

Average storage throughput in MiB/s = (Sum(VolumeReadBytes) + Sum(VolumeWriteBytes)) / (60 * 1024 * 1024)

Weitere Informationen über die Metriken VolumeReadBytes und VolumeWriteBytes finden Sie unter Überwachung auf PER_BROKER-Ebene.

Aktualisierung der Konfiguration

Sie können Ihre Amazon-MSK-Konfiguration entweder vor oder nach der Aktivierung des bereitgestellten Durchsatzes aktualisieren. Der gewünschte Durchsatz wird Ihnen jedoch erst angezeigt, wenn Sie beide Aktionen ausführen: den Konfigurationsparameter num.replica.fetchers aktualisieren und den bereitgestellten Durchsatz aktivieren.

In der Standardkonfiguration von Amazon MSK hat num.replica.fetchers den Wert 2. Sie können Ihr num.replica.fetchers aktualisieren, indem Sie die vorgeschlagenen Werte aus der folgenden Tabelle verwenden. Diese Werte dienen zur Orientierung. Wir empfehlen Ihnen, diese Werte an Ihren Anwendungsfall anzupassen.

Größe des Maklers	num.replica.fetchers
kafka.m5.4xlarge	4
kafka.m5.8xlarge	8
kafka.m5.12xlarge	14
kafka.m 5.16x groß	16
kafka.m5.24xlarge	16

Ihre aktualisierte Konfiguration wird möglicherweise erst nach 24 Stunden wirksam und kann länger dauern, wenn ein Quell-Volume nicht voll ausgelastet ist. Die Leistung eines temporären Volumes entspricht jedoch mindestens der Leistung der Quell-Speicher-Volumes während des Migrationszeitraums. Die Migration eines voll ausgelasteten 1-TiB-Volumes zu einer aktualisierten Konfiguration dauert in der Regel etwa sechs Stunden.

Bereitstellung des Speicherdurchsatzes mithilfe der AWS Management Console

1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die Amazon MSK-Konsole unter https://console.aws.amazon.com/msk/home?region=us-east-1#/home/.

2. Wählen Sie Cluster erstellen.

3. Wählen Sie Benutzerdefiniert erstellen.

4. Geben Sie einen Namen für den Cluster ein.

5. Wählen Sie im Abschnitt Speicher die Option Aktivieren.

6. Wählen Sie einen Wert für den Speicherdurchsatz pro Broker.

7. Wählen Sie eine VPC, Zonen und Subnetze und eine Sicherheitsgruppe.

8. Wählen Sie Weiter aus.

9. Wählen Sie unten im Schritt Sicherheit die Option Weiter.

10. Wählen Sie unten im Schritt Überwachung und Tags die Option Weiter.

11. Überprüfen Sie die Cluster-Einstellungen und wählen Sie dann Cluster erstellen.

Bereitstellung des Speicherdurchsatzes mithilfe des AWS CLI

Dieser Abschnitt zeigt ein Beispiel dafür, wie Sie den verwenden können AWS CLI , um einen Cluster mit aktiviertem bereitgestellten Durchsatz zu erstellen.

1. Kopieren Sie den folgenden JSON-Code in eine Datei. Ersetzen Sie die Platzhalter für Subnetz- und Sicherheitsgruppen-IDs durch Ihre eigenen Werte. Benennen Sie die Datei cluster-creation.json und speichern Sie sie.

   {
       "Provisioned": {
           "BrokerNodeGroupInfo":{
               "InstanceType":"kafka.m5.4xlarge",
               "ClientSubnets":[
                   "Subnet-1-ID",
                   "Subnet-2-ID"
               ],
               "SecurityGroups":[
                   "Security-Group-ID"
               ],
               "StorageInfo": {
                   "EbsStorageInfo": {
                       "VolumeSize": 10,
                       "ProvisionedThroughput": {
                           "Enabled": true,
                           "VolumeThroughput": 250
                       }
                   }
               }
           },
           "EncryptionInfo": {
               "EncryptionInTransit": {
                   "InCluster": false,
                   "ClientBroker": "PLAINTEXT"
               }
           },
           "KafkaVersion":"2.8.1",
           "NumberOfBrokerNodes": 2
       },
       "ClusterName": "provisioned-throughput-example"
   }

2. Führen Sie den folgenden AWS CLI Befehl in dem Verzeichnis aus, in dem Sie die JSON-Datei im vorherigen Schritt gespeichert haben.

   aws kafka create-cluster-v2 --cli-input-json file://cluster-creation.json

Bereitstellen des Speicherdurchsatzes mit der API

Verwenden Sie CreateClusterV2, um den bereitgestellten Speicherdurchsatz bei der Erstellung eines Clusters zu konfigurieren.