Atualize o tamanho do agente MSK de cluster da Amazon

Você pode escalar seu MSK cluster sob demanda alterando o tamanho de seus corretores sem reatribuir partições do Apache Kafka. Alterar o tamanho dos seus agentes oferece a flexibilidade de ajustar a capacidade computacional do seu MSK cluster com base nas mudanças nas suas cargas de trabalho, sem interromper a E/S do seu cluster. A Amazon MSK usa o mesmo tamanho de agente para todos os agentes em um determinado cluster.

Esta seção descreve como atualizar o tamanho do broker para seu MSK cluster. Você pode atualizar o tamanho do cluster broker de M5 ou T3 para M7g ou de M7g para M5. Esteja ciente de que migrar para uma corretora menor pode diminuir o desempenho e reduzir a taxa de transferência máxima possível por corretora. A migração para uma corretora maior pode aumentar o desempenho, mas pode custar mais.

A atualização do tamanho do corretor acontece de forma contínua enquanto o cluster está em funcionamento. Isso significa que a Amazon MSK derruba uma corretora por vez para realizar a atualização do tamanho da corretora. Para obter informações sobre como tornar um cluster altamente disponível durante uma atualização do tamanho de um corretor, consulte. Criar clusters altamente disponíveis Para reduzir ainda mais qualquer impacto potencial na produtividade, você pode realizar a atualização do tamanho do corretor durante um período de baixo tráfego.

Durante uma atualização do tamanho de uma corretora, você pode continuar produzindo e consumindo dados. No entanto, você deve esperar até que a atualização seja concluída para poder reinicializar os corretores ou invocar qualquer uma das operações de atualização listadas em Operações da Amazon. MSK

Se você quiser atualizar seu cluster para um tamanho de agente menor, recomendamos que você experimente primeiro a atualização em um cluster de teste para ver como isso afeta seu cenário.

Importante

Você não pode atualizar um cluster para um tamanho de agente menor se o número de partições por agente exceder o número máximo especificado em Dimensione seu cluster adequadamente: número de partições por agente.

Atualize o tamanho do agente de MSK cluster da Amazon usando o AWS Management Console

Esse processo mostra como atualizar o tamanho do agente de MSK cluster da Amazon usando o AWS Management Console

1. Abra o MSK console da Amazon emhttps://console.aws.amazon.com/msk/.

2. Escolha o MSK cluster para o qual você deseja atualizar o tamanho do broker.

3. Na página de detalhes do cluster, encontre a seção Resumo dos corretores e escolha Editar tamanho do corretor.

4. Escolha o tamanho do corretor que você deseja na lista.

5. Salve as alterações.

Atualize o tamanho do agente de MSK cluster da Amazon usando o AWS CLI

Execute o comando a seguir, substituindo ClusterArn com o Amazon Resource Name (ARN) que você obteve ao criar seu cluster. Se você não tiver o ARN para seu cluster, poderá encontrá-lo listando todos os clusters. Para obter mais informações, consulte Listar MSK clusters da Amazon.

1. Substituir Current-Cluster-Version com a versão atual do cluster e TargetType com o novo tamanho que você deseja que os corretores tenham. Para saber mais sobre os tamanhos dos corretores, consulteTamanhos de MSK corretores da Amazon.

   aws kafka update-broker-type --cluster-arn ClusterArn --current-version Current-Cluster-Version --target-instance-type TargetType

   Veja a seguir um exemplo de como usar esse comando:

   aws kafka update-broker-type --cluster-arn "arn:aws:kafka:us-east-1:0123456789012:cluster/exampleName/abcd1234-0123-abcd-5678-1234abcd-1" --current-version "K1X5R6FKA87" --target-instance-type kafka.m5.large 

   A saída desse comando se parece com o JSON exemplo a seguir.

   {
       "ClusterArn": "arn:aws:kafka:us-east-1:0123456789012:cluster/exampleName/abcd1234-0123-abcd-5678-1234abcd-1",
       "ClusterOperationArn": "arn:aws:kafka:us-east-1:012345678012:cluster-operation/exampleClusterName/abcdefab-1234-abcd-5678-cdef0123ab01-2/0123abcd-abcd-4f7f-1234-9876543210ef"
   }

2. Para obter o resultado da update-broker-type operação, execute o comando a seguir, substituindo ClusterOperationArn com o ARN que você obteve na saída do update-broker-type comando.

   aws kafka describe-cluster-operation --cluster-operation-arn ClusterOperationArn

   A saída desse describe-cluster-operation comando se parece com o JSON exemplo a seguir.

   {
     "ClusterOperationInfo": {
       "ClientRequestId": "982168a3-939f-11e9-8a62-538df00285db",
       "ClusterArn": "arn:aws:kafka:us-east-1:0123456789012:cluster/exampleName/abcd1234-0123-abcd-5678-1234abcd-1",
       "CreationTime": "2021-01-09T02:24:22.198000+00:00",
       "OperationArn": "arn:aws:kafka:us-east-1:012345678012:cluster-operation/exampleClusterName/abcdefab-1234-abcd-5678-cdef0123ab01-2/0123abcd-abcd-4f7f-1234-9876543210ef",
       "OperationState": "UPDATE_COMPLETE",
       "OperationType": "UPDATE_BROKER_TYPE",
       "SourceClusterInfo": {
         "InstanceType": "t3.small"
       },
       "TargetClusterInfo": {
         "InstanceType": "m5.large"
       }
     }
   }

   Se OperationState tiver o valor UPDATE_IN_PROGRESS, aguarde um pouco e execute o comando describe-cluster-operation novamente.

Atualizando o tamanho do corretor usando o API

Para atualizar o tamanho do corretor usando oAPI, consulte UpdateBrokerType.

Você pode usar UpdateBrokerType para atualizar o tamanho do cluster broker de M5 ou T3 para M7g ou de M7g para M5.