As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Para obter informações sobre como provisionar a taxa de transferência usando o console, a CLI e a API do Amazon MSK, consulte. Provisione a taxa de transferência de armazenamento para corretores padrão em um cluster Amazon MSK
Tópicos
Configurações de throughput máximo e gargalos de throughput de agentes do Amazon MSK
Avalie o throughput de armazenamento de um cluster do Amazon MSK
Valores de atualização de configuração para armazenamento provisionado em um cluster do Amazon MSK
Provisione a taxa de transferência de armazenamento para corretores padrão em um cluster Amazon MSK
Configurações de throughput máximo e gargalos de throughput de agentes do Amazon MSK
Há várias causas de gargalos na taxa de transferência do corretor: taxa de transferência de volume, taxa de transferência da rede Amazon para EC2 Amazon EBS e taxa de transferência de saída da Amazon. EC2 Você pode ativar o throughput do armazenamento provisionado para ajustar o throughput do volume. No entanto, as limitações de taxa de transferência do corretor podem ser causadas pela taxa de transferência da rede Amazon EC2 para Amazon EBS e pela taxa de transferência de saída da Amazon EC2.
A taxa de EC2 saída da Amazon é afetada pelo número de grupos de consumidores e consumidores por grupo de consumidores. Além disso, a taxa de transferência da rede Amazon EC2 para Amazon EBS e a taxa de transferência de EC2 saída da Amazon são maiores para corretoras maiores.
Para volumes com tamanhos de 10 GiB ou mais, você pode provisionar um throughput de armazenamento de 250 MiB por segundo ou mais. O valor de 250 MiB por segundo é o padrão. Para provisionar o throughput de armazenamento, você deve escolher o tamanho de agente kafka.m5.4xlarge ou maior (ou kafka.m7g.2xlarge ou maior), e você pode especificar o throughput máximo conforme apresentado na tabela a seguir.
| tamanho do agente | Throughput máximo de armazenamento (MiB/segundo) |
|---|---|
| kafka.m5.4xlarge | 593 |
| kafka.m5.8xlarge | 850 |
| kafka.m5.12xlarge | 1000 |
| kafka.m5.16xlarge | 1000 |
| kafka.m5.24xlarge | 1000 |
| kafka.m7g.2xlarge | 312,5 |
| kafka.m7g.4xlarge | 625 |
| kafka.m7g.8xlarge | 1000 |
| kafka.m7g.12xlarge | 1000 |
| kafka.m7g.16xlarge | 1000 |
Avalie o throughput de armazenamento de um cluster do Amazon MSK
Você pode usar as métricas VolumeReadBytes e VolumeWriteBytes para medir o throughput médio de armazenamento de um cluster. A soma dessas duas métricas fornece o throughput médio de armazenamento em bytes. Para obter o throughput médio de armazenamento de um cluster, defina essas duas métricas como SUM e o período como 1 minuto e então aplique a fórmula a seguir.
Average storage throughput in MiB/s = (Sum(VolumeReadBytes) + Sum(VolumeWriteBytes)) / (60 * 1024 * 1024)Para obter mais informações sobre as métricas VolumeReadBytes e VolumeWriteBytes, consulte Monitoramento no nível PER_BROKER.
Valores de atualização de configuração para armazenamento provisionado em um cluster do Amazon MSK
Você pode atualizar sua configuração do Amazon MSK antes ou depois de ativar o throughput provisionado. No entanto, você não verá o throughput desejado até realizar estas duas ações: atualizar o parâmetro de configuração num.replica.fetchers e ativar o throughput provisionado.
Na configuração padrão do Amazon MSK, num.replica.fetchers tem um valor de 2. Para atualizar seu num.replica.fetchers, você pode usar os valores sugeridos na tabela a seguir. Estes valores são para fins de orientação. Recomendamos ajustar os valores com base no seu caso de uso.
| tamanho do agente | num.replica.fetchers |
|---|---|
| kafka.m5.4xlarge | 4 |
| kafka.m5.8xlarge | 8 |
| kafka.m5.12xlarge | 14 |
| kafka.m5.16xlarge | 16 |
| kafka.m5.24xlarge | 16 |
Sua configuração atualizada pode não entrar em vigor por até 24 horas e isso pode levar mais tempo quando um volume de origem não for totalmente utilizado. No entanto, o desempenho do volume de transição é, no mínimo, igual ao desempenho dos volumes de armazenamento de origem durante o período de migração. Um volume de 1 TiB totalmente utilizado normalmente leva aproximadamente 6 horas para migrar para uma configuração atualizada.
