Cota do Amazon MSK
Sua Conta da AWS tem cotas padrão para o Amazon MSK. A menos que definido de outra forma, cada cota por conta é específica da região da conta da Conta da AWS.
Tópicos
Solicitar um aumento de cota no Amazon MSK
É possível solicitar um aumento de cota para cada região usando o console do Service Quotas, a AWS CLI ou um caso de suporte. Se uma cota ajustável não estiver disponível no console do Service Quotas, use o AWS Support Center Console para criar um caso de aumento do Service Quotas
O suporte pode aprovar, negar ou aprovar parcialmente solicitações de aumento de cota. Os aumentos não são concedidos imediatamente e podem levar alguns dias para entrar em vigor.
Para solicitar um aumento, visite o Console do Service Quotas
-
Abra o console Service Quotas em https://console.aws.amazon.com/servicequotas/
. -
Na barra de navegação, na parte superior da tela, selecione uma região.
-
No painel de navegação à esquerda, selecione Serviços da AWS.
-
Na caixa Localizar serviços, digite
mske escolha Amazon Managed Streaming for Apache Kafka (MSK). -
Em Cotas de serviço, escolha o Nome da cota para a qual você deseja solicitar um aumento. Por exemplo,
Number of brokers per account. -
Escolha Solicitar aumento no nível da conta.
-
Em Alterar o valor da cota, insira o novo valor desejado.
-
Escolha Solicitar.
-
(Opcional) Para visualizar solicitações pendentes ou resolvidas recentemente no console, escolha Painel no painel de navegação esquerdo. Para solicitações pendentes, escolha o status da solicitação para abrir o recibo da solicitação. O status inicial de uma solicitação é Pending (Pendente). Depois que o status for alterado para Cota solicitada, você verá o número do caso com o Suporte. Escolha o número do caso para abrir o tíquete de sua solicitação.
Para obter mais informações, incluindo como usar a AWS CLI ou os SDKs para solicitar um aumento de cota, consulte Solicitação de aumento de cota no Guia do usuário do Service Quotas.
Cota de agente Standard do Amazon MSK
A tabela a seguir descreve as cotas dos agentes Standard.
| Dimensão | Cota | Observações |
|---|---|---|
| Agentes por conta | 90 | Para solicitar uma cota maior, acesse o console do Service Quotas |
| Agentes por cluster | 30 para clusters baseados em Zookeeper, 60 para clusters baseados em KRaft | Para solicitar uma cota maior, acesse o console do Service Quotas |
| Armazenamento mínimo por agente | 1 GiB | |
| Armazenamento máximo por agente | 16384 GiB | |
| Máximo de conexões TCP por agente (controle de acesso IAM) | 3000 | Para aumentar esse limite, você pode ajustar a propriedade listener.name.client_iam.max.connections ou a configuração listener.name.client_iam_public.max.connections usando a API AlterConfig do Kafka ou a ferramenta kafka-configs.sh. É importante observar que aumentar qualquer propriedade para um valor alto pode resultar em indisponibilidade. |
| Taxa máxima de conexões TCP por agente (IAM) | 100 por segundo (tamanhos de instância M5 e M7g) 4 por segundo (tamanho de instância t3) | Para processar novas tentativas em conexões com falha, você pode definir o parâmetro de configuração reconnect.backoff.ms no lado do cliente. Por exemplo, se você quiser que um cliente tente novamente as conexões após 1 segundo, defina reconnect.backoff.ms como 1000. Para obter mais informações, consulte reconnect.backoff.ms |
| Máximo de conexões TCP por agente (não IAM) | N/D | O MSK não impõe limites de conexão para autenticação que não seja do IAM. Você deve monitorar outras métricas, como uso de CPU e memória, para garantir que seu cluster não fique sobrecarregado devido ao excesso de conexões. |
| Configurações por conta | 100 | Para solicitar uma cota maior, acesse o console do Service Quotas Para atualizar a configuração ou a versão do Apache Kafka de um cluster do MSK, primeiro certifique-se de que o número de partições por agente esteja abaixo dos limites descritos em Dimensione seu cluster adequadamente: número de partições por agente Standard. |
| Revisões de configurações por conta | 50 |
Cota de agentes Express do Amazon MSK
A tabela a seguir descreve as cotas dos agentes Express.
| Dimensão | Cota | Observações |
|---|---|---|
| Agentes por conta | 90 | Para solicitar uma cota maior, acesse o console do Service Quotas |
| Agentes por cluster | 30 | Para solicitar uma cota maior, acesse o console do Service Quotas |
| Armazenamento máximo | Ilimitado | |
| Máximo de conexões TCP por agente (controle de acesso IAM) | 3000 |
Para aumentar o limite de conexão, ajuste uma das seguintes propriedades de configuração usando a API AlterConfig do Kafka ou a ferramenta kafka-configs.sh:
Definir essas propriedades com um valor alto pode resultar na indisponibilidade do cluster. |
| Taxa máxima de conexões TCP por agente (IAM) | 100 por segundo | Para processar novas tentativas em conexões com falha, você pode definir o parâmetro de configuração reconnect.backoff.ms no lado do cliente. Por exemplo, se você quiser que um cliente tente novamente as conexões após 1 segundo, defina reconnect.backoff.ms como 1000. Para obter mais informações, consulte reconnect.backoff.ms |
| Máximo de conexões TCP por agente (não IAM) | N/D | O MSK não impõe limites de conexão para autenticação que não seja do IAM. No entanto, você deve monitorar outras métricas, como uso de CPU e memória, para garantir que seu cluster não fique sobrecarregado devido ao excesso de conexões. |
| Configurações por conta da | 100 | Para solicitar uma cota maior, acesse o console do Service Quotas |
| Revisões de configurações por conta | 50 | |
| Entrada máxima por agente | Recomendado: 15,6 - 500,0 MBps | Com base no tamanho da instância. |
| Saída máxima por agente | Recomendado: 31,2 - 1000,0 MBps | Com base no tamanho da instância. |
Tópicos
Limites de controle de utilização do throughput do agente Express por tamanho do agente
A tabela a seguir lista o limite máximo e recomendado de controle de utilização do throughput relacionado à entrada e saída para diferentes tamanhos de agentes. Nesta tabela, o throughput recomendado é representado como Desempenho sustentado, que é o limite até o qual suas aplicações não sofrerão nenhuma degradação de desempenho. Se você operar além desses limites em qualquer dimensão, poderá obter mais throughput, mas também poderá sofrer uma degradação do desempenho. A cota máxima é o limite no qual seu cluster limitará o tráfego de leitura/gravação. Suas aplicações não conseguirão operar além desse limite.
| Tamanho da instância | Desempenho sustentado (MBps) para entrada | Cota máxima (MBps) para entrada | Desempenho sustentado (MBps) para saída | Cota máxima (MBps) para saída |
|---|---|---|---|---|
| express.m7g.large | 15,6 | 23,4 | 31,2 | 58,5 |
| express.m7g.xlarge | 31,2 | 46,8 | 62,5 | 117 |
| express.m7g.2xlarge | 62,5 | 93,7 | 125 | 234,2 |
| express.m7g.4xlarge | 124,9 | 187,5 | 249,8 | 468,7 |
| express.m7g.8xlarge | 250 | 375 | 500 | 937,5 |
| express.m7g.12xlarge | 375 | 562,5 | 750 | 1406,2 |
| express.m7g.16xlarge | 500 | 750 | 1000 | 1875 |
Cota de partição do agente Express
A tabela a seguir mostra o número recomendado de partições (incluindo partições líderes e seguidoras) de cada agente Express. Você não pode exceder o número máximo de partições mencionado na tabela a seguir para cada agente do Express.
Para obter informações sobre as melhores práticas a serem consideradas ao atribuir partições aos agentes Express, consulte Dimensione seu cluster adequadamente: número de partições por agente Express.
| Tamanho do agente | Número recomendado de partições (incluindo partições líderes e seguidoras) por agente | Número máximo de partições por agente |
|---|---|---|
|
|
1000 | 1500 |
|
1000 | 2000 |
|
|
2500 | 4000 |
|
|
6000 | 8000 |
|
12000 | 16000 |
|
16000 | 24000 |
|
20000 | 32000 |
Cotas do replicador do MSK
Máximo de 15 replicadores do MSK por conta.
-
O Replicador do MSK replica somente até 750 tópicos de forma ordenada. Se você precisar replicar mais tópicos, recomendamos criar um replicador separado. Acesse o console do Service Quotas
se precisar de suporte para mais de 750 tópicos por replicador. Você pode monitorar o número de tópicos replicados usando a métrica “TopicCount”. -
Um throughput máximo de entrada de 1 GB por segundo por replicador do MSK. Solicite uma cota maior acessando o console do Service Quotas
. -
Tamanho do registro do Replicador do MSK: um tamanho máximo de registro de 10 MB (message.max.bytes). Solicite uma cota maior acessando o console do Service Quotas
.
Cota do MSK Serverless
Salvo indicação em contrário, as cotas especificadas na tabela a seguir são por cluster.
nota
Caso tenha algum problema com os limites da cota de serviço, crie um caso de suporte com seu caso de uso e o limite solicitado.
| Dimensão | Quota | Resultado de violação de cota |
|---|---|---|
|
Throughput máximo de entrada |
200 MBps |
Desaceleração com duração de controle de utilização em resposta |
| Throughput máximo de saída | 400 MBps |
Desaceleração com duração de controle de utilização em resposta |
| Duração máxima de retenção | Ilimitado | N/D |
|
Número máximo de conexões de cliente |
3000 | Fechamento da conexão |
| Máximo de tentativas de conexão | 100 por segundo | Fechamento da conexão |
|
Tamanho máximo de mensagem |
8 MiB | A solicitação falha com ErrorCode: INVALID_REQUEST |
| Taxa máxima de solicitação | 15.000 por segundo | Desaceleração com duração de controle de utilização em resposta |
|
Taxa máxima de solicitações de APIs de gerenciamento de tópico |
2 por segundo | Desaceleração com duração de controle de utilização em resposta |
|
Máximo de bytes de busca por solicitação |
55 MB |
A solicitação falha com ErrorCode: INVALID_REQUEST |
|
Número máximo de grupos de consumidores |
500 | Falha na solicitação de JoinGroup |
| Número máximo de partições (líderes) | 2.400 para tópicos não compactados, 120 para tópicos compactados. Para solicitar um ajuste de cota de serviço, crie um caso de suporte com seu caso de uso e limite solicitado. | A solicitação falha com ErrorCode: INVALID_REQUEST |
| Taxa máxima de criação e exclusão de partições | 250 em 5 minutos | A solicitação falha com o ErrorCode: THROUGHPUT_QUOTA_EXCEEDED |
|
Throughput máximo de entrada por partição |
5 MBps | Desaceleração com duração de controle de utilização em resposta |
|
Throughput máximo de saída por partição |
10 MBps | Desaceleração com duração de controle de utilização em resposta |
|
Tamanho máximo da partição (para tópicos compactados) |
250 GB | A solicitação falha com o ErrorCode: THROUGHPUT_QUOTA_EXCEEDED |
| Número máximo de VPCs clientes por cluster com tecnologia sem servidor | 5 | |
| Número máximo de clusters com tecnologia sem servidor por conta | 10. Para solicitar um ajuste de cota de serviço, crie um caso de suporte com seu caso de uso e limite solicitado. |
Cota do MSK Connect
Até 100 plug-ins personalizados.
-
Até 100 configurações de operador.
-
Até 60 operadores conectados. Se um conector estiver configurado com capacidade de ajuste de escala automático, o número máximo de operadores que o conector está configurado para ter é o número que o MSK Connect usa para calcular a cota da conta.
-
Até 10 operadores por conector.
Para solicitar uma cota maior para o MSK Connect, acesse o console do Service Quotas
