Cotas e limites - Amazon Kinesis Data Streams

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Cotas e limites

O Amazon Kinesis Data Streams tem as seguintes cotas e limites de stream e shard.

  • Não há uma cota máxima no número de streams com o modo provisionado que você pode ter em uma conta.

  • Na suaAWSConta, por padrão, você pode criar até 50 fluxos de dados com o modo de capacidade sob demanda. Se você precisar de um aumento dessa cota, entre em contato comAWSSuporte.

  • A cota de fragmentos padrão é de 500 fragmentos porAWScontabilize o seguinteAWSregiões: Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon) e Europa (Irlanda). Para todas as outras regiões, a cota de estilhaços padrão é de 200 estilhaços porAWSConta. Esse limite só é aplicável para fluxos de dados com o modo de capacidade provisionada.

    Para solicitar um aumento de cota de fragmentos por stream de dados, siga o procedimento descrito em Solicitar um aumento de cota.

  • Um único estilhaço pode consumir até 1 MB de dados por segundo (incluindo as chaves de partição) ou 1.000 registros por segundo para gravações. Da mesma forma, se você escalar o streaming para 5.000 estilhaços, ele poderá ingerir até 5 GB por segundo ou 5 milhões de registros por segundo. Se precisar de mais capacidade de ingestão, você pode aumentar facilmente o número de fragmentos no stream usando oAWS Management Consoleou oUpdateShardCountAPI.

  • O tamanho máximo da carga útil de dados de um registro antes da codificação em base64 é de até 1 MB.

  • GetRecordspode recuperar até 10 MB de dados por chamada de um único fragmento e até 10.000 registros por chamada. Cada chamada para GetRecords é contada como uma transação de leitura.

  • Cada estilhaço pode oferecer suporte a até cinco transações de leitura por segundo. Cada transação de leitura pode fornecer até 10.000 registros com uma cota máxima de 10 MB por transação.

  • Cada fragmento pode suportar uma taxa máxima total de leitura de dados de 2 MB por segundo viaGetRecords. Se uma chamada para GetRecords retornar 10 MB, as chamadas subsequentes feitas nos próximos 5 segundos lançarão uma exceção.

  • Por padrão, novos fluxos de dados criados com o modo de capacidade sob demanda têm 4 MB/s de 'gravação' e 8 MB/s de taxa de transferência de 'leitura'. À medida que o tráfego aumenta, os fluxos de dados com o modo de capacidade sob demanda aumentam até 200 MB/s de taxa de transferência de 'gravação' e 400 MB/s de 'leitura'.

  • Na suaAWSConta, por padrão, você pode criar até 50 fluxos de dados com o modo de capacidade sob demanda. Se você precisar de um aumento dessa cota, entre em contato comAWSSuporte.

  • Você pode criar 20 consumidores registrados (limite de distribuição aprimorado) para cada fluxo de dados.

  • Para cada fluxo de dados em seuAWSconta, você pode alternar entre os modos de capacidade sob demanda e provisionada duas vezes em 24 horas.

Limites do API

Como a maioriaAWSAs operações de APIs e API do Kinesis Data Streams têm taxas limitadas. Os seguintes limites são aplicáveis porAWSconta por região. Para obter mais informações sobre as APIs do Kinesis Data Streams, consulte oReferência da API do Amazon Kinesis.

Limites de API do plano de controle do KDS

A seção a seguir descreve os limites das APIs do plano de controle do KDS. As APIs do plano de controle do KDS permitem que você crie e gerencie os streams de dados. Esses limites se aplicam porAWSconta por região.

Limites de API do plano de controle
API Limite de chamada de API Limite do nível de streaming Outros detalhes
AddTagsToStream 5 transações por segundo (TPS) 50 tags por stream de dados por conta por região
CreateStream 5 TPS Não há um cota máxima para o número de streamings que você pode ter em uma conta. Você recebe um LimitExceededException ao fazer um CreateStreamsolicite quando você tenta realizar uma destas ações:
  • Ter mais de cinco streams no estado CREATING em qualquer momento.

  • Criar mais fragmentos do que o autorizado para sua conta.

DecreaseStreamRetentionPeriod 5 TPS O valor mínimo do período de retenção de um stream de dados é de 24 horas.
DeleteStream 5 TPS N/D
DeregisterStreamConsumer 5 TPS N/D
DescribeLimits 1 TPS
DescribeStream 10 TPS N/D
DescribeStreamConsumer 20 TPS N/D
DescribeStreamSummary 20 TPS N/D
DisableEnhancedMonitoring 5 TPS N/D
EnableEnhancedMonitoring 5 TPS N/D
IncreaseStreamRetentionPeriod 5 TPS O valor máximo do período de retenção de um stream é de 8760 horas (365 dias).
ListShards 100 TPS N/D
ListStreamConsumers 5 TPS N/D
ListStreams 5 TPS N/D
ListTagsForStream 5 TPS N/D
MergeShards 5 TPS N/D
RegisterStreamConsumer 5 TPS É possível registrar até 20 consumidores por stream de dados. Um consumidor só pode ser registrado em um stream de dados de cada vez. Apenas cinco consumidores podem ser criados simultaneamente. Em outras palavras, não é possível ter mais de cinco consumidores em um status CRIANDO ao mesmo tempo. Registrar um 6º consumidor enquanto houver 5 em um status CREATING resulta em um LimitExceededException.
RemoveTagsFromStream 5 TPS N/D
SplitShard 5 TPS N/D
StartStreamEncryption Você pode aplicar com sucesso um novoAWSChave do KMS para criptografia no lado do servidor 25 vezes em um período contínuo de 24 horas.
StopStreamEncryption É possível desabilitar com êxito a criptografia no lado do servidor 25 vezes em um período contínuo de 24 horas.
UpdateShardCount
  • Dimensionar mais de dez vezes por um período contínuo de 24 horas por stream

  • Expandir para mais do que o dobro da contagem de fragmentos atual de um stream

  • Reduzir abaixo da metade da contagem de fragmentos atual de um stream

  • Expandir para até mais de 10000 fragmentos em um stream

  • Reduzir um stream com mais de 10000 fragmentos, a menos que o resultado seja inferior a 10000 fragmentos

  • Expandir para além do limite de fragmentos da sua conta

UpdateStreamMode
  • Para cada fluxo de dados em seuAWSconta, você pode alternar entre os modos de capacidade sob demanda e provisionada duas vezes em 24 horas.

Limites de API do plano de dados do KDS

A seção a seguir descreve os limites para as APIs do plano de dados do KDS. As APIs do plano de dados do KDS permitem que você use os streams de dados para coletar e processar registros de dados em tempo real. Esses limites se aplicam por fragmento dentro dos streams de dados.

Limites de API do plano de dados
API Limite de chamada de API Limite de carga útil Outros detalhes
GetRecords 5 TPS O número máximo de registros que podem ser retornados por chamada é 10.000. O tamanho máximo dos dados que GetRecords pode retornar é 10 MB. Se uma chamada retornar essa quantidade de dados, as chamadas subsequentes feitas nos próximos 5 segundos serão lançadasProvisionedThroughputExceededException. Se houver uma taxa de transferência provisionada insuficiente no stream, as chamadas subsequentes serão feitas no próximo lançamento de 1 segundoProvisionedThroughputExceededException.
GetShardIterator 5 TPS Um iterador de fragmentos expira cinco minutos depois que é retornado ao solicitante. Se um GetShardIterator a solicitação é feita com muita frequência, você recebe um ProvisionedThroughputExceededException.
PutRecord 1000 TPS Cada fragmento pode oferecer suporte a gravações de até 1.000 registros por segundo, até um total máximo de gravação de dados de 1 MB por segundo.
PutRecords Cada PutRecords a solicitação pode suportar até 500 registros. Cada registro na solicitação pode ter no máximo 1 MB, até um limite de 5 MB para toda a solicitação, incluindo chaves de partição. Cada fragmento pode oferecer suporte a gravações de até 1.000 registros por segundo, até um total máximo de gravação de dados de 1 MB por segundo.
SubscribeToShard Você pode fazer uma chamada para SubscribeToShard por segundo por consumidor registrado por fragmento. Se você ligar SubscribeToShard novamente com o mesmo ConsumerARN eShardId dentro de 5 segundos após uma chamada bem-sucedida, você receberá umResourceInUseException.

Aumento de cotas

É possível usar cotas de serviço para solicitar um aumento para uma cota, se a cota for ajustável. Algumas solicitações são resolvidas automaticamente, enquanto outras são enviadas paraAWSSupport. Você pode acompanhar o status de uma solicitação de aumento de cota enviada paraAWSSupport. As solicitações para aumentar as cotas de serviço não recebem suporte prioritário. Se você tiver uma solicitação urgente, entre em contatoAWSSupport. Para obter mais informações, consulte O que são cotas de serviço?

Para solicitar um aumento de cota de serviço, siga o procedimento descrito em Solicitar um aumento de cota.