Aggiornamento delle dimensioni del broker del cluster Amazon MSK

Puoi scalare il tuo cluster MSK su richiesta modificando le dimensioni dei broker senza riassegnare le partizioni Apache Kafka. La modifica delle dimensioni dei broker offre la flessibilità necessaria per adattare la capacità di calcolo del cluster MSK in base alle variazioni dei carichi di lavoro, senza interrompere l'I/O del cluster. Amazon MSK utilizza le stesse dimensioni di broker per tutti i broker di un determinato cluster.

Questa sezione descrive come aggiornare le dimensioni del broker per il cluster MSK. Per i broker standard, è possibile aggiornare le dimensioni del broker del cluster da M5 o T3 a M7g o da M7g a M5. Per i broker Express, puoi utilizzare solo le dimensioni dei broker M7g.

Tieni presente che la migrazione a un broker di dimensioni inferiori può ridurre le prestazioni e ridurre il throughput massimo raggiungibile per broker. La migrazione a un broker di dimensioni maggiori può aumentare le prestazioni ma può costare di più.

L'aggiornamento delle dimensioni di un broker avviene in modo continuativo mentre il cluster è attivo e funzionante. Ciò significa che Amazon MSK disattiva un broker alla volta per eseguire l'aggiornamento delle dimensioni del broker. Per informazioni su come rendere altamente disponibile un cluster durante un aggiornamento delle dimensioni di un broker, consulta. Creazione di cluster a disponibilità elevata Per ridurre ulteriormente il potenziale impatto sulla produttività, è possibile eseguire l'aggiornamento delle dimensioni del broker durante un periodo di traffico ridotto.

Durante un aggiornamento delle dimensioni di un broker, puoi continuare a produrre e consumare dati. Tuttavia, è necessario attendere il completamento dell'aggiornamento prima di poter riavviare i broker o richiamare una delle operazioni di aggiornamento elencate nelle operazioni di Amazon MSK.

Se desideri aggiornare il cluster a un broker di dimensioni inferiori, ti consigliamo di provare prima l'aggiornamento su un cluster di test per vedere come influisce sullo scenario.

Importante

Non puoi aggiornare un cluster a un broker di dimensioni inferiori se il numero di partizioni per broker supera il numero massimo specificato in. Dimensioni corrette del cluster: numero di partizioni per broker Standard

Aggiorna le dimensioni del broker del cluster Amazon MSK utilizzando il AWS Management Console

Questo processo mostra come aggiornare le dimensioni del broker del cluster Amazon MSK utilizzando il AWS Management Console

1. Accedere a e aprire la console Amazon MSK da https://console.aws.amazon.com/msk/casa? AWS Management Console region=us-east-1#/home/.

2. Scegliete il cluster MSK per il quale desiderate aggiornare le dimensioni del broker.

3. Nella pagina dei dettagli del cluster, trova la sezione di riepilogo dei broker e scegli Modifica le dimensioni del broker.

4. Scegli la dimensione del broker che desideri dall'elenco.

5. Salva le modifiche.

Aggiorna le dimensioni del broker del cluster Amazon MSK utilizzando il AWS CLI

Esegui il comando seguente, sostituendolo ClusterArn con l'Amazon Resource Name (ARN) che hai ottenuto quando hai creato il cluster. Se non disponi dell'ARN per il cluster, puoi trovarlo elencando tutti i cluster. Per ulteriori informazioni, consulta Elenca i cluster Amazon MSK.

1. Sostituiscilo Current-Cluster-Version con la versione corrente del cluster e TargetType con la nuova dimensione che desideri che abbiano i broker. Per ulteriori informazioni sulle dimensioni dei broker, consultaTipi di broker Amazon MSK.

   aws kafka update-broker-type --cluster-arn ClusterArn --current-version Current-Cluster-Version --target-instance-type TargetType

   Di seguito è riportato un esempio di come utilizzare questo comando:

   aws kafka update-broker-type --cluster-arn "arn:aws:kafka:us-east-1:0123456789012:cluster/exampleName/abcd1234-0123-abcd-5678-1234abcd-1" --current-version "K1X5R6FKA87" --target-instance-type kafka.m5.large 

   L'output di questo comando è simile all'esempio JSON seguente.

   {
       "ClusterArn": "arn:aws:kafka:us-east-1:0123456789012:cluster/exampleName/abcd1234-0123-abcd-5678-1234abcd-1",
       "ClusterOperationArn": "arn:aws:kafka:us-east-1:012345678012:cluster-operation/exampleClusterName/abcdefab-1234-abcd-5678-cdef0123ab01-2/0123abcd-abcd-4f7f-1234-9876543210ef"
   }

2. Per ottenere il risultato dell'update-broker-typeoperazione, esegui il comando seguente, sostituendolo ClusterOperationArn con l'ARN ottenuto nell'output del update-broker-type comando.

   aws kafka describe-cluster-operation --cluster-operation-arn ClusterOperationArn

   L'output di questo comando describe-cluster-operation è simile all'esempio JSON seguente.

   {
     "ClusterOperationInfo": {
       "ClientRequestId": "982168a3-939f-11e9-8a62-538df00285db",
       "ClusterArn": "arn:aws:kafka:us-east-1:0123456789012:cluster/exampleName/abcd1234-0123-abcd-5678-1234abcd-1",
       "CreationTime": "2021-01-09T02:24:22.198000+00:00",
       "OperationArn": "arn:aws:kafka:us-east-1:012345678012:cluster-operation/exampleClusterName/abcdefab-1234-abcd-5678-cdef0123ab01-2/0123abcd-abcd-4f7f-1234-9876543210ef",
       "OperationState": "UPDATE_COMPLETE",
       "OperationType": "UPDATE_BROKER_TYPE",
       "SourceClusterInfo": {
         "InstanceType": "t3.small"
       },
       "TargetClusterInfo": {
         "InstanceType": "m5.large"
       }
     }
   }

   Se il valore di OperationState è UPDATE_IN_PROGRESS, attendi qualche minuto, quindi esegui nuovamente il comando describe-cluster-operation.

Aggiornamento delle dimensioni del broker tramite l'API

Per aggiornare le dimensioni del broker utilizzando l'API, consulta UpdateBrokerType.

Puoi utilizzarla UpdateBrokerType per aggiornare le dimensioni del broker del cluster da M5 o T3 a M7g o da M7g a M5.