Quote e limiti - Flusso di dati Amazon Kinesis

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Quote e limiti

Flusso di dati Amazon Kinesis ha i limiti e le quote di flussi e partizioni riportati di seguito.

Quota Modalità on demand Modalità assegnata

Numero di flussi di dati

Non esiste una quota massima per il numero di stream all'interno del tuo AWS account. Per impostazione predefinita, puoi creare fino a 50 flussi di dati con la modalità di capacità on demand. Se hai bisogno di un aumento di questa quota, invia una richiesta di assistenza.

Non è previsto un limite massimo per il numero di flussi con la modalità assegnata all'interno di un account.

Numero dle partizioni

Non vi è un limite superiore. Il numero di partizioni dipende dalla quantità di dati importati e dal livello di velocità di trasmissione effettiva richiesto. Il flusso di dati Kinesis dimensiona automaticamente il numero di partizioni in risposta alle variazioni del volume e del traffico dei dati.

Non vi è un limite superiore. La quota di shard predefinita è di 500 shard per AWS account per le seguenti AWS regioni: Stati Uniti orientali (Virginia settentrionale), Stati Uniti occidentali (Oregon) ed Europa (Irlanda). Per tutte le altre regioni, la quota predefinita di partizioni è 200 partizioni per account AWS . Per richiedere un aumento della quota di shards-per-data streaming, consulta Richiesta di aumento della quota.

Velocità di trasmissione effettiva del flusso di dati

Per impostazione predefinita, i nuovi flussi di dati creati con la modalità di capacità on demand hanno una velocità di trasmissione effettiva di 4 MB/s in scrittura e 8 MB/s in lettura. All'aumentare del traffico, i flussi di dati con la modalità di capacità on demand aumentano fino a 200 MB/s di velocità di trasmissione effettiva in scrittura e 400 MB/s in lettura. Se hai bisogno di aumentare la capacità di scrittura a 2 GB/s e quella di lettura a 4 GB/s, invia una richiesta di assistenza

Non vi è un limite superiore. La velocità di trasmissione effettiva massima dipende dal numero di partizioni fornite per il flusso. Ogni partizione può supportare una velocità di trasmissione effettiva di scrittura fino a 1 MB/s o 1.000 record/s o una velocità di trasmissione effettiva di lettura fino a 2 MB/s o 2.000 record/s. Se hai bisogno di una maggiore capacità di acquisizione, puoi facilmente aumentare il numero di shard nello stream utilizzando l'API AWS Management Console o. UpdateShardCount

Dimensioni del payload di dati

La dimensione massima di payload di dati di un record prima della base64-encoding è 1 MB.

Dimensioni delle transazioni GetRecords

GetRecordspuò recuperare fino a 10 MB di dati per chiamata da un singolo shard e fino a 10.000 record per chiamata. Ogni chiamata GetRecords viene conteggiata come una transazione in lettura. Ogni shard può supportare fino a cinque operazioni di lettura al secondo. Ogni transazione di lettura può fornire un massimo di 10.000 record con una quota massima di 10 MiB per transazione.

Velocità di lettura dei dati per partizione

Ogni shard può supportare fino a una velocità di lettura totale massima dei dati di 2 MB al secondo tramite. GetRecords Se una chiamata a GetRecords restituisce 10 MiB, le successive chiamate effettuate nei prossimi 5 secondi generano un'eccezione.

Numero di consumer registrati per flusso di dati

Puoi creare fino a 20 consumer registrati (limite di fan-out avanzato) per ogni flusso di dati.

Passaggio dalla modalità assegnata a quella on demand

Per ogni flusso di dati nel tuo AWS account, puoi passare dalla modalità di capacità on-demand a quella di capacità fornita due volte nell'arco di 24 ore. 

Limiti delle API

Come la maggior parte delle AWS API, le operazioni dell'API Kinesis Data Streams hanno una velocità limitata. I seguenti limiti si applicano per account per regione. AWS Per ulteriori informazioni sulle API del flusso di dati Kinesis, consulta la Documentazione di riferimento delle API di Amazon Kinesis.

Limiti per l'API del piano di controllo KDS

Nella sezione seguente sono indicati i limiti per le API del piano di controllo KDS. Le API del piano di controllo KDS consentono di creare e gestire i flussi di dati. Questi limiti si applicano per account AWS per regione.

Limiti per l'API del piano di controllo
API Limite di chiamata API Per account/flusso  Descrizione
AddTagsToStream 5 transazioni al secondo (TPS) Per account 50 tag per flusso di dati
CreateStream 5 TPS Per account

Non è prevista alcuna quota massima al numero di flussi che puoi avere in un account. Viene ricevuta una LimitExceededException quando si effettua una richiesta CreateStream e si prova a completare una delle seguenti operazioni:

  • Quando sono presenti più di cinque flussi nello stato CREATING in qualsiasi momento.

  • Quando crei più shard di quelli autorizzati per il tuo account.

DecreaseStreamRetentionPeriod 5 TPS Per flusso Il valore minimo del periodo di conservazione di un flusso di dati è di 24 ore.
DeleteResourcePolicy 5 TPS Per account Se hai bisogno di un aumento di questo limite, invia un ticket di supporto.
DeleteStream 5 TPS Per account
DeregisterStreamConsumer 5 TPS Per flusso
DescribeLimits 1 TPS Per account
DescribeStream 10 TPS Per account
DescribeStreamConsumer 20 TPS Per flusso
DescribeStreamSummary 20 TPS Per account
DisableEnhancedMonitoring 5 TPS Per flusso
EnableEnhancedMonitoring 5 TPS Per flusso
GetResourcePolicy 5 TPS Per account Se hai bisogno di un aumento di questo limite, invia un ticket di supporto.
IncreaseStreamRetentionPeriod 5 TPS Per flusso Il valore massimo del periodo di conservazione di un flusso è 8.760 ore (365 giorni).
ListShards 1000 TPS Per flusso
ListStreamConsumers 5 TPS Per flusso
ListStreams 5 TPS Per account
ListTagsForStream 5 TPS Per flusso
MergeShards 5 TPS Per flusso Applicabile solo per la capacità assegnata.
PutResourcePolicy 5 TPS Per account Se hai bisogno di un aumento di questo limite, invia un ticket di supporto.
RegisterStreamConsumer 5 TPS Per flusso Puoi registrare fino a 20 consumer per flusso di dati. Un determinato consumer può essere registrato a un solo flusso di dati alla volta. Possono essere creati contemporaneamente solo 5 consumer. In altre parole, non è possibile avere più di 5 consumer contemporaneamente in uno stato CREATING. Registrazione di un sesto consumer mentre ce ne sono 5 in un CREATING
RemoveTagsFromStream 5 TPS Per flusso
SplitShard 5 TPS Per flusso Applicabile solo per la capacità assegnata
StartStreamEncryption Per flusso Puoi applicare con successo una nuova chiave AWS KMS per la crittografia lato server 25 volte in un periodo continuativo di 24 ore.
StopStreamEncryption Per flusso Puoi disabilitare correttamente la crittografia lato server 25 volte in un periodo di 24 ore.
UpdateShardCount Per flusso Applicabile solo per la capacità assegnata. Il limite predefinito per il numero di partizioni è 10.000. Esistono limiti aggiuntivi per questa API. Per ulteriori informazioni, consulta. UpdateShardCount
UpdateStreamMode Per flusso

Per ogni flusso di dati nel tuo AWS account, puoi passare dalla modalità di capacità on-demand a quella di capacità fornita due volte nell'arco di 24 ore.

Limiti per l'API KDS Data Plane

Nella sezione seguente vengono descritti i limiti per le API di KDS Data Plane. Le API di KDS Data Plane consentono di utilizzare i flussi di dati per raccogliere ed elaborare i record di dati in tempo reale. Questi limiti si applicano per ogni shard all'interno dei flussi di dati.

Limiti per l'API Data Plane
API Limite di chiamata API Limite del payload Ulteriori dettagli
GetRecords 5 TPS Il numero massimo di record che è possibile restituire per chiamata è 10.000. La dimensione massima di dati che GetRecords può restituire è 10 MB. Se una chiamata restituisce questa quantità di dati, le chiamate successive effettuate entro i 5 secondi successivi genereranno ProvisionedThroughputExceededException. Se la velocità di trasmissione effettiva assegnata sul flusso non è sufficiente, le chiamate successive effettuate entro il successivo secondo genereranno ProvisionedThroughputExceededException.
GetShardIterator 5 TPS Un iteratore shard scade 5 minuti dopo che è stato restituito al richiedente. Se una GetShardIterator richiesta viene effettuata troppo spesso, ricevi un. ProvisionedThroughputExceededException
PutRecord 1000 TPS Ogni shard può supportare scritture fino a 1.000 record al secondo, fino a un massimo di 1 MB al secondo in scrittura dei dati.
PutRecords Ogni PutRecords richiesta può supportare fino a 500 record. Ciascun record nella richiesta può avere una dimensione massima pari a 1 MB, con un limite a 5 MB, per l'intera richiesta, incluse le chiavi di partizione. Ogni shard può supportare scritture fino a 1.000 record al secondo, fino a un massimo di 1 MB al secondo in scrittura dei dati.
SubscribeToShard È possibile effettuare una chiamata al secondo SubscribeToShard per consumatore registrato per shard. Se chiami di SubscribeToShard nuovo con lo stesso ConsumerArn ShardId ed entro 5 secondi dall'esito positivo della chiamata, riceverai un. ResourceInUseException

Aumento delle quote

È possibile utilizzare Service Quotas per richiedere un aumento per una quota, se la quota è regolabile. Alcune richieste vengono risolte automaticamente, mentre altre vengono inviate al supporto AWS . È possibile tenere traccia dello stato di una richiesta di aumento quota inviata al supporto AWS . Le richieste di aumento delle quote di servizio non ricevono supporto prioritario. Se hai una richiesta urgente, contatta l' AWS assistenza. Per ulteriori informazioni, consulta Cosa sono le Service Quotas?.

Per richiedere un aumento della quota di servizio, seguire la procedura descritta in Richiesta di un aumento di quota.