Quota Amazon Data Firehose

Amazon Data Firehose ha la seguente quota.

• Con Amazon MSK come origine per il flusso Firehose, ogni flusso Firehose ha una quota predefinita di 10 MB/sec di velocità effettiva di lettura per partizione e una dimensione massima del record di 10 MB. Puoi utilizzare l'aumento della quota di servizio per richiedere un aumento della quota predefinita di 10 MB/sec di velocità effettiva di lettura per partizione.

• Con Amazon MSK come origine per lo stream Firehose, è prevista una dimensione di record massima di 6 Mb se AWS Lambda è abilitata e una dimensione massima di record di 10 Mb se Lambda è disabilitata. AWS Lambda limita il record in entrata a 6 MB e Amazon Data Firehose inoltra i record superiori a 6 Mb a un bucket S3 con errore. Se Lambda è disabilitata, Firehose limita il record in entrata a 10 MB. Se Amazon Data Firehose riceve da Amazon MSK una dimensione del record superiore a 10 MB, Amazon Data Firehose invia questo record al bucket di errore S3 e invia i parametri Cloudwatch al tuo account. Per ulteriori informazioni sui limiti AWS Lambda, consulta: https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-limits.html.

• Quando il partizionamento dinamico su un flusso di distribuzione è abilitato, è possibile creare una quota predefinita di 500 partizioni attive per quel flusso di distribuzione. Il conteggio delle partizioni attive corrisponde al numero totale di partizioni attive all'interno del buffer di distribuzione. Ad esempio, se la query di partizionamento dinamico costruisce 3 partizioni al secondo e disponi di una configurazione di suggerimento per il buffering che attiva la distribuzione ogni 60 secondi, in media si avranno 180 partizioni attive. Una volta che i dati vengono distribuiti in una partizione, quest'ultima non è più attiva. Puoi utilizzare il modulo Amazon Data Firehose Limits per richiedere un aumento di questa quota fino a 5000 partizioni attive per dato flusso di distribuzione. Se hai bisogno di più partizioni, puoi creare più flussi di distribuzione e distribuirvi le partizioni attive.

• Quando è abilitato il partizionamento dinamico su un flusso di distribuzione, è supportata una velocità di trasmissione effettiva di 1 GB al secondo per ogni partizione attiva.

• Ogni account avrà la seguente quota per il numero di flussi di consegna Firehose per regione:

  • Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio) Stati Uniti occidentali (Oregon), Europa (Irlanda), Asia Pacifico (Tokyo): 5.000 flussi di distribuzione

  • Europa (Francoforte), Europa (Londra), Asia Pacifico (Singapore), Asia Pacifico (Sydney), Asia Pacifico (Seoul), Asia Pacifico (Mumbai), (Stati Uniti occidentali), Canada AWS GovCloud (Ovest), Canada (Centrale): 2.000 flussi di consegna

  • Europa (Parigi), Europa (Milano), Europa (Stoccolma), Asia Pacifico (Hong Kong), Asia Pacifico (Osaka), Sud America (San Paolo), Cina (Ningxia), Cina (Pechino), Medio Oriente (Bahrein), AWS GovCloud (Stati Uniti orientali), Africa (Città del Capo): 500 flussi di consegna

  • Europa (Zurigo), Europa (Spagna), Asia Pacifico (Hyderabad), Asia Pacifico (Giacarta), Asia Pacifico (Melbourne), Medio Oriente (Emirati Arabi Uniti), Israele (Tel Aviv), Canada occidentale (Calgary), Canada (Centrale): 100 flussi di consegna

  • Se superi questo numero, una chiamata a CreateDeliveryStream genera un'eccezione LimitExceededException. Per aumentare questa quota, è possibile utilizzare le Service Quotas se disponibili nella propria regione. Per ulteriori informazioni sull'utilizzo di Service Quotas, consulta Richiesta di un aumento delle quote. Se le Service Quotas non sono disponibili nella tua regione, puoi utilizzare il modulo Amazon Data Firehose Limits per richiedere un aumento.

• Quando Direct PUT è configurato come origine dati, ogni flusso Firehose fornisce la seguente quota PutRecorde PutRecordBatchrichieste combinate:

  • Stati Uniti orientali (Virginia settentrionale), Stati Uniti occidentali (Oregon) ed Europa (Irlanda): 500.000 record/secondo, 2.000 richieste/secondo e 5 MiB/secondo.

  • Per Stati Uniti orientali (Ohio), Stati Uniti occidentali (California settentrionale), AWS GovCloud (Stati Uniti orientali), AWS GovCloud (Stati Uniti occidentali), Asia Pacifico (Hong Kong), Asia Pacifico (Mumbai), Asia Pacifico (Seoul), Asia Pacifico (Singapore), Cina (Pechino), Cina (Ningxia), Asia Pacifico (Sydney), Asia Pacifico (Tokyo), Canada (Centrale), Canada occidentale (Calgary), Europa (Francoforte), Europa (Francoforte), Europa (Londra), Europa (Parigi), Europa (Stoccolma), Medio Oriente (Bahrain), Sud America (San Paolo), Africa (Città del Capo) ed Europa (Milano): 100.000 record/secondo, 1.000 richieste/secondo e 1 MIB/secondo.

  Per richiedere un aumento della quota, utilizza il modulo Amazon Data Firehose Limits. Le tre quote contingenti sono dimensionate in modo proporzionale. Ad esempio, se si aumenta la quota di velocità di trasmissione effettiva in Stati Uniti orientali (Virginia settentrionale), Stati Uniti occidentali (Oregon) o Europa (Irlanda) a 10 MiB/secondo, le altre due quote aumentano a 4.000 richieste/secondo e 1.000.000 record/secondo.

  Importante

  Se la quota aumentata è molto superiore al traffico in esecuzione, può causare la distribuzione di piccoli batch sulle destinazioni. Questo è inefficiente e può comportare costi più alti per i servizi di destinazione. Assicurati di aumentare la quota solo per adattarla al traffico in esecuzione attuale e di aumentarla ulteriormente in caso di incremento del traffico.

  Importante

  Tieni presente che record di dati più piccoli possono comportare costi più elevati. I prezzi di importazione di Firehose si basano sul numero di record di dati inviati al servizio, moltiplicato per la dimensione di ciascun record arrotondato per eccesso ai 5 KB (5120 byte) più vicini. Quindi, a parità di volume di dati in entrata (byte), se c'è un numero maggiore di record in entrata, il costo da sostenere sarà maggiore. Ad esempio, se il volume totale di dati in entrata è di 5 MiB, l'invio di 5 MiB di dati oltre 5.000 record costa di più rispetto all'invio della stessa quantità di dati utilizzando 1.000 record. Per ulteriori informazioni, consulta Amazon Data Firehose in theAWS Calculator.

  Nota

  Quando Kinesis Data Streams è configurato come origine dati, questa quota non si applica e Amazon Data Firehose è scalabile verso l'alto e verso il basso senza limiti.

• Ogni stream Firehose archivia i record di dati per un massimo di 24 ore nel caso in cui la destinazione di consegna non sia disponibile e se la fonte lo è. DirectPut Se l'origine è Kinesis Data Streams (KDS) e la destinazione non è disponibile, i dati vengono conservati in base alla configurazione KDS.

• La dimensione massima di un record inviato ad Amazon Data Firehose, prima della codifica base64, è 1.000 KiB.

• L'operazione PutRecordBatch può sostenere fino a 500 record o 4 MiB per chiamata, a seconda del limite raggiunto per primo. Questa quota non può essere modificata.

• Le seguenti operazioni possono fornire fino a cinque invocazioni al secondo (questo è un limite hard): CreateDeliveryStream, DeleteDeliveryStream, DescribeDeliveryStream, ListDeliveryStreams, UpdateDestination, TagDeliveryStream, UntagDeliveryStream, ListTagsForDeliveryStream, StartDeliveryStreamEncryption, StopDeliveryStreamEncryption.

• Gli hint dell'intervallo di buffer variano da 60 secondi a 900 secondi.

• Per la distribuzione da Amazon Data Firehose ad Amazon Redshift, sono supportati solo i cluster Amazon Redshift accessibili pubblicamente.

• L'intervallo di durata dei nuovi tentativi è compreso tra 0 secondi e 7.200 secondi per Amazon Redshift OpenSearch e Service Delivery.

• Firehose supporta le versioni di Elasticsearch 1.5, 2.3, 5.1, 5.3, 5.5, 5.6, nonché tutte le versioni 6.* e 7.* e Amazon Service 2.x fino alla 2.11. OpenSearch

• Quando la destinazione è Amazon S3, Amazon Redshift o OpenSearch Service, Amazon Data Firehose consente fino a 5 chiamate Lambda eccezionali per shard. Per Splunk, la quota è di 10 invocazioni Lambda in sospeso per partizione.

• È possibile utilizzare un CMK di tipo CUSTOMER_MANAGED_CMK per crittografare fino a 500 flussi di recapito.