Cota do Amazon Data Firehose

O Amazon Data Firehose tem a seguinte cota.

• Com a Amazon MSK como fonte para o stream do Firehose, cada stream do Firehose tem uma cota padrão de 10 MB/seg de taxa de transferência de leitura por partição e tamanho máximo de registro de 10 MB. Você pode usar o aumento da cota de serviço para solicitar um aumento na cota padrão de 10 MB/seg de taxa de transferência de leitura por partição.

• Com a Amazon MSK como fonte para o stream do Firehose, há um tamanho máximo de registro de 6 MB se o Lambda estiver ativado e um tamanho máximo de registro de 10 MB se o AWS Lambda estiver desativado. AWS O Lambda limita seu registro de entrada para 6 MB, e o Amazon Data Firehose encaminha registros acima de 6 MB para um bucket S3 com erro. Se o Lambda estiver desativado, o Firehose limitará seu registro de entrada a 10 MB. Se o Amazon Data Firehose receber um tamanho de registro da Amazon maior MSK que 10 MB, o Amazon Data Firehose entregará esse registro ao bucket de erros do S3 e emitirá métricas do Cloudwatch para sua conta. Para obter mais informações sobre os limites do AWS Lambda, consulte:. https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-limits.html

• Quando o particionamento dinâmico em um stream do Firehose está ativado, há uma cota padrão de 500 partições ativas que podem ser criadas para esse stream do Firehose. A quantidade de partições ativas é o número total de partições ativas dentro do buffer de entrega. Por exemplo, se a consulta de particionamento dinâmico monta 3 partições por segundo e você tiver uma configuração de sugestão de buffer que aciona a entrega a cada 60 segundos, então, em média, você teria 180 partições ativas. Depois que os dados são entregues em uma partição, essa partição deixa de estar ativa. Você pode usar o formulário Amazon Data Firehose Limits para solicitar um aumento dessa cota para até 5.000 partições ativas por determinado stream do Firehose. Se precisar de mais partições, você pode criar mais streams do Firehose e distribuir as partições ativas entre elas.

• Quando o particionamento dinâmico em um stream do Firehose está ativado, uma taxa de transferência máxima de 1 GB por segundo é suportada para cada partição ativa.

• Cada conta terá a seguinte cota para o número de streams do Firehose por região:

  • Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Oregon), Europa (Irlanda), Ásia-Pacífico (Tóquio): 5.000 streams Firehose

  • Europa (Frankfurt), Europa (Londres), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Seul), Ásia-Pacífico (Mumbai), AWS GovCloud (Oeste dos EUA), Canadá (Oeste), Canadá (Central): 2.000 streams Firehose

  • Europa (Paris), Europa (Milão), Europa (Estocolmo), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Osaka), América do Sul (São Paulo), China (Ningxia), China (Pequim), Oriente Médio (Bahrein), (Leste dos EUA), África AWS GovCloud (Cidade do Cabo): 500 fluxos Firehose

  • Europa (Zurique), Europa (Espanha), Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Melbourne), Oriente Médio (), Israel (Tel AvivUAE), Oeste do Canadá (Calgary), Canadá (Central): 100 fluxos Firehose

  • Se você exceder esse número, uma chamada para CreateDeliveryStreamresultará em uma LimitExceededException exceção. Para aumentar essa cota, é possível usar o Service Quotas, caso esteja disponíveis na sua região. Para obter mais informações sobre o uso de Service Quotas, consulte Solicitar um aumento de cota. Se as Cotas de Serviço não estiverem disponíveis na sua região, você pode usar o formulário Amazon Data Firehose Limits para solicitar um aumento.

• Quando o Direct PUT é configurado como fonte de dados, cada stream do Firehose fornece a seguinte cota e solicitações combinadas: PutRecordPutRecordBatch

  • Para Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon) e Europa (Irlanda): 500.000 registros/segundo, 2.000 solicitações/segundo e 5 MiB/segundo.

  • Para Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), AWS GovCloud (Leste dos EUA), AWS GovCloud (Oeste dos EUA), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Seul), Ásia-Pacífico (Cingapura), China (Pequim), China (Ningxia), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), Canadá (Central), Oeste do Canadá (Calgary), Europa (Frankfurt), Europa (Londres), Europa (Paris), Europa (Estocolmo), Oriente Médio (Bahrein), América do Sul (São Paulo), África (Cidade do Cabo) e Europa (Milão): 100.000 registros/segundo, 1.000 solicitações/segundo e 1 MiB/segundo.

  Para solicitar um aumento na cota, use o formulário Amazon Data Firehose Limits. As três cotas são escaladas proporcionalmente. Por exemplo, se você aumentar a cota de throughput na região Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon) ou Europa (Irlanda) para 10 MiB/segundo, as outras duas cotas aumentarão para 4.000 solicitações/segundo e 1.000.000 de registros/segundo.

  Importante

  Se a cota aumentada for muito maior do que o tráfego em execução, isso ocasionará lotes de entrega pequenos para os destinos. Isso não é eficaz e pode ser dispendioso nos serviços de destino. Certifique-se de aumentar a cota apenas para que corresponda ao tráfego atual e aumente-a ainda mais se o tráfego aumentar.

  Importante

  Observe que registros de dados menores podem levar a custos mais altos. O preço de ingestão do Firehose é baseado no número de registros de dados que você envia para o serviço, multiplicado pelo tamanho de cada registro, arredondado para os 5 KB (5120 bytes) mais próximos. Portanto, para o mesmo volume de dados recebidos (bytes), se o número maior de registros recebidos for maior, o custo incorrido será maior. Por exemplo, se o volume total de dados recebidos for 5 MiB, enviar 5 MiB de dados em 5.000 registros custa mais do que enviar a mesma quantidade de dados usando 1.000 registros. Para obter mais informações, consulte Amazon Data Firehose na Calculadora.AWS

  nota

  Quando o Kinesis Data Streams é configurado como fonte de dados, essa cota não se aplica, e o Amazon Data Firehose aumenta e diminui a escala sem limite.

• Cada stream do Firehose armazena registros de dados por até 24 horas, caso o destino da entrega não esteja disponível e a origem esteja. DirectPut Se a origem for o Kinesis Data KDS Streams () e o destino não estiver disponível, os dados serão retidos com base na sua configuração. KDS

• O tamanho máximo de um registro enviado para o Amazon Data Firehose, antes da codificação base64, é de 1.000 KiB.

• A PutRecordBatchoperação pode levar até 500 registros por chamada ou 4 MiB por chamada, o que for menor. Essa cota não pode ser alterada.

• As operações a seguir podem fornecer até cinco invocações por segundo (esse é um limite fixo): CreateDeliveryStream, DeleteDeliveryStream, DescribeDeliveryStream, ListDeliveryStreams, UpdateDestination, TagDeliveryStream, UntagDeliveryStream, ListTagsForDeliveryStream, StartDeliveryStreamEncryption, StopDeliveryStreamEncryption.

• As dicas de intervalo do buffer variam de 60 a 900 segundos.

• Para entrega do Amazon Data Firehose para o Amazon Redshift, somente clusters do Amazon Redshift acessíveis ao público são suportados.

• O intervalo de duração da nova tentativa é de 0 segundos a 7.200 segundos para o Amazon Redshift OpenSearch e a entrega de serviços.

• O Firehose é compatível com as versões 1.5, 2.3, 5.1, 5.3, 5.5, 5.6 do Elasticsearch, bem como todas as versões 6.* e 7.* e Amazon Service 2.x até 2.11. OpenSearch

• Quando o destino é Amazon S3, Amazon Redshift ou OpenSearch Service, o Amazon Data Firehose permite até 5 invocações Lambda pendentes por fragmento. Para o Splunk, a cota é de 10 invocações pendentes do Lambda por fragmento.

• Você pode usar um CMK do tipo CUSTOMER _ MANAGED _ CMK para criptografar até 500 streams do Firehose.