Cotas e limites - Amazon Kinesis Data Streams

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Cotas e limites

A tabela a seguir descreve as cotas e os limites de streams e fragmentos para o Amazon Kinesis Data Streams.

Quota Modo sob demanda Modo provisionado

Número de fluxos de dados

Não há cota máxima no número de streams em sua AWS conta. Por padrão, você pode criar até 50 fluxos de dados usando o modo de capacidade sob demanda. Se precisar de uma cota maior, crie um tíquete de suporte.

Não há uma cota máxima para o número de fluxos em uma conta usando o modo provisionado.

Número de fragmentos

Não há limite máximo. O número de fragmentos depende da quantidade de dados ingeridos e do nível de throughput necessário. O Kinesis Data Streams escala automaticamente o número de fragmentos em resposta a mudanças no volume e no tráfego de dados.

Não há limite máximo. A cota de fragmentos padrão é de 500 fragmentos por AWS conta para as seguintes AWS regiões: Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon) e Europa (Irlanda). Em todas as outras regiões, a cota padrão é de 200 fragmentos por conta da AWS . Para solicitar um aumento de cota de shards-per-data streaming, consulte Solicitando um aumento de cota.

Throughput do fluxo de dados

Por padrão, novos fluxos de dados criados com o modo de capacidade sob demanda têm 4 MB/s de throughput de gravação e 8 MB/s de throughput de leitura. À medida que o tráfego aumenta, os fluxos de dados com o modo de capacidade sob demanda aumentam a escala verticalmente até 200 MB/s de throughput de gravação e 400 MB/s de throughput de leitura. Se precisar aumentar essa capacidade para 2 GB/s de gravação e 4 GB/s de leitura, envie um tíquete de suporte

Não há limite máximo. A throughput máxima depende do número de fragmentos provisionados para o fluxo. Cada fragmento pode ter até 1 MB/s ou 1.000 registros/s de throughput de gravação ou até 2 MB/s ou 2.000 registros/s de throughput de leitura. Se precisar de mais capacidade de ingestão, você pode facilmente aumentar o número de fragmentos no stream usando o AWS Management Console ou o. UpdateShardCountAPI

Tamanho da carga útil de dados

O tamanho máximo da carga útil de dados de um registro antes da base64-encoding é de até 1 MB.

Tamanho da transação GetRecords

GetRecordspode recuperar até 10 MB de dados por chamada de um único fragmento e até 10.000 registros por chamada. Cada chamada para GetRecords é contada como uma transação de leitura. Cada estilhaço pode oferecer suporte a até cinco transações de leitura por segundo. Cada transação de leitura pode fornecer até 10.000 registros com uma cota máxima de 10 MB por transação.

Taxa de leitura de dados por fragmento

Cada fragmento pode suportar até uma taxa máxima total de leitura de dados de 2 MB por segundo via GetRecords. Se uma chamada para GetRecords retornar 10 MB, as chamadas subsequentes feitas nos próximos 5 segundos lançarão uma exceção.

Número de consumidores registrados por fluxo de dados

Você pode criar até 20 consumidores registrados (limite de distribuição avançada) para cada fluxo de dados.

Alternar entre os modos provisionado e sob demanda

Para cada fluxo de dados em sua AWS conta, você pode alternar entre os modos de capacidade sob demanda e provisionada duas vezes em 24 horas. 

APILimites

Como a maioria AWS APIs, as operações do Kinesis API Data Streams têm taxas limitadas. Os limites a seguir se aplicam por AWS conta e região. Para obter mais informações sobre o Kinesis APIs Data Streams, consulte a Referência do Amazon API Kinesis.

KDSAPILimites do plano de controle

A seção a seguir descreve os limites do plano KDS de controleAPIs. KDSAPIso plano de controle permite que você crie e gerencie seus fluxos de dados. Esses limites se aplicam por conta da AWS por região.

APILimites do plano de controle
API APIlimite de chamadas Por conta/fluxo  Descrição
AddTagsToStream 5 transações por segundo (TPS) Por conta 50 tags por fluxo de dados
CreateStream 5 TPS Por conta

Não há um cota máxima para o número de streamings que você pode ter em uma conta. Você recebe um LimitExceededException ao fazer uma solicitação CreateStream tentando executar um dos seguintes procedimentos:

  • Ter mais de cinco streams no estado CREATING em qualquer momento.

  • Criar mais fragmentos do que o autorizado para sua conta.

DecreaseStreamRetentionPeriod 5 TPS Por fluxo O valor mínimo do período de retenção de um stream de dados é de 24 horas.
DeleteResourcePolicy 5 TPS Por conta Se precisar de um limite maior, crie um Tíquete de suporte.
DeleteStream 5 TPS Por conta
DeregisterStreamConsumer 5 TPS Por fluxo
DescribeLimits 1 TPS Por conta
DescribeStream 10 TPS Por conta
DescribeStreamConsumer 20 TPS Por fluxo
DescribeStreamSummary 20 TPS Por conta
DisableEnhancedMonitoring 5 TPS Por fluxo
EnableEnhancedMonitoring 5 TPS Por fluxo
GetResourcePolicy 5 TPS Por conta Se precisar de um limite maior, crie um Tíquete de suporte.
IncreaseStreamRetentionPeriod 5 TPS Por fluxo O valor máximo do período de retenção de um fluxo é de 8.760 horas (365 dias).
ListShards 1000 TPS Por fluxo
ListStreamConsumers 5 TPS Por fluxo
ListStreams 5 TPS Por conta
ListTagsForStream 5 TPS Por fluxo
MergeShards 5 TPS Por fluxo Aplicável somente no modo provisionado.
PutResourcePolicy 5 TPS Por conta Se precisar de um limite maior, crie um Tíquete de suporte.
RegisterStreamConsumer 5 TPS Por fluxo É possível registrar até 20 consumidores por stream de dados. Um consumidor só pode ser registrado em um stream de dados de cada vez. Apenas cinco consumidores podem ser criados simultaneamente. Em outras palavras, não é possível ter mais de cinco consumidores com status CREATING ao mesmo tempo. Registrar o sexto consumidor quando há cinco com status CREATING
RemoveTagsFromStream 5 TPS Por fluxo
SplitShard 5 TPS Por fluxo Aplicável somente no modo provisionado
StartStreamEncryption Por fluxo Você pode aplicar com sucesso uma nova AWS KMS chave para criptografia do lado do servidor 25 vezes em um período contínuo de 24 horas.
StopStreamEncryption Por fluxo É possível desabilitar com êxito a criptografia no lado do servidor 25 vezes em um período contínuo de 24 horas.
UpdateShardCount Por fluxo Aplicável somente no modo provisionado. O limite padrão do número de fragmentos é 10.000. Há limites adicionais para issoAPI. Para obter mais informações, consulte UpdateShardCount.
UpdateStreamMode Por fluxo

Para cada fluxo de dados em sua AWS conta, você pode alternar entre os modos de capacidade sob demanda e provisionada duas vezes em 24 horas.

KDSAPILimites do plano de dados

A seção a seguir descreve os limites do plano KDS de dadosAPIs. KDSAPIso plano de dados permite que você use seus fluxos de dados para coletar e processar registros de dados em tempo real. Esses limites se aplicam por fragmento dentro dos streams de dados.

APILimites do plano de dados
API APIlimite de chamadas Limite de carga útil Outros detalhes
GetRecords 5 TPS O número máximo de registros que podem ser retornados por chamada é 10.000. O tamanho máximo de dados que GetRecords pode retornar é 10 MB. Se uma chamada retornar essa quantidade de dados, as chamadas subsequentes feitas nos próximos cinco segundos gerarão ProvisionedThroughputExceededException. Se a throughput provisionada no fluxo for insuficiente, as chamadas subsequentes feitas no próximo segundo gerarão ProvisionedThroughputExceededException.
GetShardIterator 5 TPS Um iterador de fragmentos expira cinco minutos depois que é retornado ao solicitante. Se uma GetShardIterator solicitação for feita com muita frequência, você recebe uma ProvisionedThroughputExceededException.
PutRecord 1000 TPS Cada fragmento pode oferecer suporte a gravações de até 1.000 registros por segundo, até um total máximo de gravação de dados de 1 MB por segundo.
PutRecords Cada PutRecords solicitação pode suportar até 500 registros. Cada registro na solicitação pode ter no máximo 1 MB, até um limite de 5 MB para toda a solicitação, incluindo chaves de partição. Cada fragmento pode oferecer suporte a gravações de até 1.000 registros por segundo, até um total máximo de gravação de dados de 1 MB por segundo.
SubscribeToShard Você pode fazer uma chamada SubscribeToShard por segundo por consumidor registrado por fragmento. Se você ligar SubscribeToShard novamente com o mesmo consumidor ARN e ShardId dentro de 5 segundos de uma chamada bem-sucedida, você receberá umaResourceInUseException.

Aumento de cotas

É possível usar o Service Quotas para solicitar um aumento para uma cota, se a cota for ajustável. Algumas solicitações são resolvidas automaticamente, enquanto outras são enviadas para o AWS Support. Você pode acompanhar o status de uma solicitação de aumento de cota enviada ao AWS Support. As solicitações para aumentar as cotas de serviço não recebem suporte prioritário. Se você tiver uma solicitação urgente, entre em contato com o AWS Support. Para obter mais informações, consulte What is Service Quotas?

Para solicitar um aumento de cota de serviço, siga o procedimento descrito em Solicitar um aumento de cota.