Cotas e limites - Amazon Kinesis Data Streams

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Cotas e limites

As cotas e os limites de fluxos e fragmentos do Amazon Kinesis Data Streams são listados a seguir.

Cota Modo sob demanda Modo provisionado

Número de fluxos de dados

Não há uma cota máxima para o número de fluxos em uma conta da AWS. Por padrão, você pode criar até 50 fluxos de dados usando o modo de capacidade sob demanda. Se precisar de uma cota maior, crie um tíquete de suporte.

Não há uma cota máxima para o número de fluxos em uma conta usando o modo provisionado.

Número de fragmentos

Não há limite máximo. O número de fragmentos depende da quantidade de dados ingeridos e do nível de throughput necessário. O Kinesis Data Streams escala automaticamente o número de fragmentos em resposta a mudanças no volume e no tráfego de dados.

Não há limite máximo. A cota padrão é de 500 fragmentos por conta da AWS para as seguintes regiões da AWS: Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon) e Europa (Irlanda). Em todas as outras regiões, a cota padrão é de 200 fragmentos por conta da AWS. Para solicitar um aumento da cota de fragmentos por fluxo de dados, consulte Requesting a Quota Increase.

Throughput do fluxo de dados

Por padrão, novos fluxos de dados criados com o modo de capacidade sob demanda têm 4 MB/s de throughput de gravação e 8 MB/s de throughput de leitura. À medida que o tráfego aumenta, os fluxos de dados com o modo de capacidade sob demanda aumentam a escala verticalmente até 200 MB/s de throughput de gravação e 400 MB/s de throughput de leitura. Se precisar aumentar essa capacidade para 2 GB/s de gravação e 4 GB/s de leitura, envie um tíquete de suporte

Não há limite máximo. A throughput máxima depende do número de fragmentos provisionados para o fluxo. Cada fragmento pode ter até 1 MB/s ou 1.000 registros/s de throughput de gravação ou até 2 MB/s ou 2.000 registros/s de throughput de leitura. Se precisar de mais capacidade de consumo, você poderá aumentar facilmente o número de estilhaços no streaming usando o AWS Management Console ou a API UpdateShardCount.

Tamanho da carga útil de dados

O tamanho máximo da carga útil de dados de um registro antes da base64-encoding é de até 1 MB.

Tamanho da transação GetRecords

GetRecords pode recuperar até 10 MB de dados por chamada de um único estilhaço e até 10.000 registros por chamada. Cada chamada para GetRecords é contada como uma transação de leitura. Cada estilhaço pode oferecer suporte a até cinco transações de leitura por segundo. Cada transação de leitura pode fornecer até 10.000 registros com uma cota máxima de 10 MB por transação.

Taxa de leitura de dados por fragmento

Cada estilhaço pode oferecer suporte a uma taxa total de leitura de dados máxima de até 2 MB por segundo por meio de GetRecords. Se uma chamada para GetRecords retornar 10 MB, as chamadas subsequentes feitas nos próximos 5 segundos lançarão uma exceção.

Número de consumidores registrados por fluxo de dados

Você pode criar até 20 consumidores registrados (limite de distribuição avançada) para cada fluxo de dados.

Alternar entre os modos provisionado e sob demanda

Para cada fluxo de dados na conta da AWS, você pode alternar entre os modos de capacidade sob demanda e provisionada duas vezes a cada 24 horas. 

Limites do API

Assim como a maioria das APIs da AWS, as operações de API do Kinesis Data Streams são limitadas por taxa. Os limites a seguir se aplicam por conta da AWS por região. Para obter mais informações sobre as APIs do Kinesis Data Streams, consulte a Referência de APIs do Amazon Kinesis.

Limites de API do plano de controle do KDS

A seção a seguir descreve os limites das APIs do plano de controle do KDS. As APIs do plano de controle do KDS permitem que você crie e gerencie os streams de dados. Esses limites se aplicam por conta da AWS por região.

Limites de API do plano de controle
API Limite de chamada de API Por conta/fluxo  Descrição
AddTagsToStream 5 transações por segundo (TPS) Por fluxo 50 tags por fluxo de dados
CreateStream 5 TPS Por conta

Não há um cota máxima para o número de streamings que você pode ter em uma conta. Você recebe um LimitExceededException ao fazer uma solicitação CreateStream tentando executar um dos seguintes procedimentos:

  • Ter mais de cinco streams no estado CREATING em qualquer momento.

  • Criar mais fragmentos do que o autorizado para sua conta.

DecreaseStreamRetentionPeriod 5 TPS Por fluxo O valor mínimo do período de retenção de um stream de dados é de 24 horas.
DeleteResourcePolicy 5 TPS Por conta Se precisar de um limite maior, crie um Tíquete de suporte.
DeleteStream 5 TPS Por conta
DeregisterStreamConsumer 5 TPS Por fluxo
DescribeLimits 1 TPS Por conta
DescribeStream 10 TPS Por conta
DescribeStreamConsumer 20 TPS Por fluxo
DescribeStreamSummary 20 TPS Por conta
DisableEnhancedMonitoring 5 TPS Por fluxo
EnableEnhancedMonitoring 5 TPS Por fluxo
GetResourcePolicy 5 TPS Por conta Se precisar de um limite maior, crie um Tíquete de suporte.
IncreaseStreamRetentionPeriod 5 TPS Por fluxo O valor máximo do período de retenção de um fluxo é de 8.760 horas (365 dias).
ListShards 1000 TPS Por fluxo
ListStreamConsumers 5 TPS Por fluxo
ListStreams 5 TPS Por conta
ListTagsForStream 5 TPS Por fluxo
MergeShards 5 TPS Por fluxo Aplicável somente no modo provisionado.
PutResourcePolicy 5 TPS Por conta Se precisar de um limite maior, crie um Tíquete de suporte.
RegisterStreamConsumer 5 TPS Por fluxo É possível registrar até 20 consumidores por stream de dados. Um consumidor só pode ser registrado em um stream de dados de cada vez. Apenas cinco consumidores podem ser criados simultaneamente. Em outras palavras, não é possível ter mais de cinco consumidores com status CREATING ao mesmo tempo. Registrar o sexto consumidor quando há cinco com status CREATING
RemoveTagsFromStream 5 TPS Por fluxo
SplitShard 5 TPS Por fluxo Aplicável somente no modo provisionado
StartStreamEncryption Por fluxo É possível aplicar com êxito uma nova chave do AWS KMS para criptografia no lado do servidor 25 vezes em um período contínuo de 24 horas.
StopStreamEncryption Por fluxo É possível desabilitar com êxito a criptografia no lado do servidor 25 vezes em um período contínuo de 24 horas.
UpdateShardCount Por fluxo Aplicável somente no modo provisionado. O limite padrão do número de fragmentos é 10.000. Há limites adicionais nesta API. Para obter mais informações, consulte UpdateShardCount.
UpdateStreamMode Por fluxo

Para cada fluxo de dados na conta da AWS, você pode alternar entre os modos de capacidade sob demanda e provisionada duas vezes a cada 24 horas.

Limites de API do plano de dados do KDS

A seção a seguir descreve os limites para as APIs do plano de dados do KDS. As APIs do plano de dados do KDS permitem que você use os streams de dados para coletar e processar registros de dados em tempo real. Esses limites se aplicam por fragmento dentro dos streams de dados.

Limites de API do plano de dados
API Limite de chamada de API Limite de carga útil Outros detalhes
GetRecords 5 TPS O número máximo de registros que podem ser retornados por chamada é 10.000. O tamanho máximo de dados que GetRecords pode retornar é 10 MB. Se uma chamada retornar essa quantidade de dados, as chamadas subsequentes feitas nos próximos cinco segundos gerarão ProvisionedThroughputExceededException. Se a throughput provisionada no fluxo for insuficiente, as chamadas subsequentes feitas no próximo segundo gerarão ProvisionedThroughputExceededException.
GetShardIterator 5 TPS Um iterador de fragmentos expira cinco minutos depois que é retornado ao solicitante. Se uma solicitação GetShardIterator for feita com muita frequência, você receberá um ProvisionedThroughputExceededException.
PutRecord 1000 TPS Cada fragmento pode oferecer suporte a gravações de até 1.000 registros por segundo, até um total máximo de gravação de dados de 1 MB por segundo.
PutRecords Cada solicitação PutRecords pode oferecer suporte a até 500 registros. Cada registro na solicitação pode ter no máximo 1 MB, até um limite de 5 MB para toda a solicitação, incluindo chaves de partição. Cada fragmento pode oferecer suporte a gravações de até 1.000 registros por segundo, até um total máximo de gravação de dados de 1 MB por segundo.
SubscribeToShard É possível fazer uma chamada para SubscribeToShard por segundo por consumidor registrado por fragmento. Se você chamar SubscribeToShard novamente com o mesmo ConsumerARN e ShardId em até 5 segundos de uma chamada bem-sucedida, você receberá um ResourceInUseException.

Aumento de cotas

É possível usar o Service Quotas para solicitar um aumento para uma cota, se a cota for ajustável. Algumas solicitações são resolvidas automaticamente, enquanto outras são enviadas para o AWS Support. Você pode acompanhar o status de uma solicitação de aumento de cota enviada ao AWS Support. As solicitações para aumentar as cotas de serviço não recebem suporte prioritário. Se tiver uma solicitação urgente, entre em contato com o AWS Support. Para obter mais informações, consulte What is Service Quotas?

Para solicitar um aumento de cota de serviço, siga o procedimento descrito em Solicitar um aumento de cota.