Cota do Amazon Kinesis Data Firehose - Amazon Kinesis Data Firehose

Cota do Amazon Kinesis Data Firehose

O Amazon Kinesis Data Firehose tem a cota a seguir.

  • Com o Amazon MSK como fonte do fluxo de entrega, cada fluxo de entrega tem uma cota padrão de 10 MB/s de throughput de leitura por partição e um tamanho máximo de registro de 10 MB. Você pode usar o formulário de limites do Amazon Kinesis Data Firehose para solicitar um aumento da cota padrão de 10 MB/s de taxa de throughput de leitura por partição.

  • Com o Amazon MSK como fonte para o fluxo de entrega, o tamanho máximo de registro é de 6 MB se o AWS Lambda estiver habilitado e de 10 MB se o Lambda estiver desabilitado. O AWS Lambda limita seu registro de entrada em 6 MB, e o Kinesis Data Firehose encaminha registros acima de 6 MB para um bucket de erros do S3. Se o Lambda estiver desabilitado, o Kinesis Data Firehose limitará seu registro de entrada em 10 MB. Se o Kinesis Data Firehose receber um tamanho de registro do Amazon MSK maior que 10 MB, o Kinesis Data Firehose entregará esse registro ao bucket de erros do S3 e emitirá métricas do Cloudwatch para a sua conta. Para obter mais informações sobre os limites do AWS Lambda, consulte: https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-limits.html.

  • Quando o particionamento dinâmico em um fluxo de entrega está habilitado, há uma cota padrão de 500 partições ativas que podem ser criadas para esse fluxo de entrega. A quantidade de partições ativas é o número total de partições ativas dentro do buffer de entrega. Por exemplo, se a consulta de particionamento dinâmico monta 3 partições por segundo e você tiver uma configuração de sugestão de buffer que aciona a entrega a cada 60 segundos, então, em média, você teria 180 partições ativas. Depois que os dados são entregues em uma partição, essa partição deixa de estar ativa. Você pode usar o formulário de limites do Amazon Kinesis Data Firehose para solicitar um aumento dessa cota para até 5.000 partições ativas por cada fluxo de entrega. Se precisar de mais partições, você pode criar mais fluxos de entrega e distribuir as partições ativas entre eles.

  • Quando o particionamento dinâmico está habilitado em um fluxo de entrega, um throughput máximo de 1 GB por segundo é possível para cada partição ativa.

  • Cada conta terá a seguinte cota de fluxos de entrega do Kinesis Data Firehose por região:

    • Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Oregon), Europa (Irlanda), Ásia-Pacífico (Tóquio): 5.000 fluxos de entrega

    • Europa (Frankfurt), Europa (Londres), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Seul), Ásia-Pacífico (Mumbai), AWS GovCloud (Oeste dos EUA), Canadá (Central): 2.000 fluxos de entrega

    • Europa (Paris), Europa (Milão), Europa (Estocolmo), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Osaka), América do Sul (São Paulo), China (Ningxia), China (Pequim), Oriente Médio (Bahrein), AWS GovCloud (Leste dos EUA), África (Cidade do Cabo): 500 fluxos de entrega

    • Europa (Zurique), Europa (Espanha), Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Melbourne), Oriente Médio (EAU), Israel (Tel Aviv): 100 fluxos de entrega

    • Se você exceder esse número, uma chamada para a CreateDeliveryStream resultará em uma exceção LimitExceededException. Para aumentar essa cota, é possível usar as Cotas de serviço, caso elas estejam disponíveis na sua região. Para obter mais informações sobre o uso de Service Quotas, consulte Solicitar um aumento de cota. Se Service Quotas não estiverem disponíveis na sua região, você poderá usar o formulário de limites do Amazon Kinesis Data Firehose para solicitar um aumento.

  • Quando o Direct PUT está configurado como a fonte de dados, cada fluxo de entrega do Kinesis Data Firehose fornece a seguinte cota combinada para solicitações PutRecord e PutRecordBatch:

    • Para Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon) e Europa (Irlanda): 500.000 registros/segundo, 2.000 solicitações/segundo e 5 MiB/segundo.

    • Para Leste dos EUA (Ohio), Oeste dos EUA (Norte da Califórnia), AWS GovCloud (Leste dos EUA), AWS GovCloud (Oeste dos EUA), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Seul), Ásia-Pacífico (Singapura), China (Pequim), China (Ningxia), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), Canadá (Central), Europa (Frankfurt), Europa (Londres), Europa (Paris), Europa (Estocolmo), Oriente Médio (Bahrein), América do Sul (São Paulo), África (Cidade do Cabo) e Europa (Milão): 100.000 registros/segundo, 1.000 solicitações/segundo e 1 MiB/segundo.

    Para solicitar um aumento na cota, use o formulário de limites do Amazon Kinesis Data Firehose. As três cotas são escaladas proporcionalmente. Por exemplo, se você aumentar a cota de throughput na região Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon) ou Europa (Irlanda) para 10 MiB/segundo, as outras duas cotas aumentarão para 4.000 solicitações/segundo e 1.000.000 de registros/segundo.

    Importante

    Se a cota aumentada for muito maior do que o tráfego em execução, isso ocasionará lotes de entrega pequenos para os destinos. Isso não é eficaz e pode ser dispendioso nos serviços de destino. Certifique-se de aumentar a cota apenas para que corresponda ao tráfego atual e aumente-a ainda mais se o tráfego aumentar.

    Importante

    Observe que registros de dados menores podem levar a custos mais altos. O preço da ingestão do Kinesis Data Firehose é baseado no número de registros de dados que você envia para o serviço, multiplicado pelo tamanho de cada registro, arredondado para os 5 KB (5.120 bytes) mais próximos. Portanto, para o mesmo volume de dados recebidos (bytes), se o número maior de registros recebidos for maior, o custo incorrido será maior. Por exemplo, se o volume total de dados recebidos for 5 MiB, enviar 5 MiB de dados em 5.000 registros custa mais do que enviar a mesma quantidade de dados usando 1.000 registros. Para obter mais informações, consulte Kinesis Data Firehose na Calculadora de Preços da AWS.

    nota

    Quando o Kinesis Data Streams está configurado como a fonte de dados, essa cota não é aplicada, e o Kinesis Data Firehose aumenta ou diminui a escala verticalmente sem nenhum limite.

  • Cada fluxo de entrega do Kinesis Data Firehose armazenará os registros de dados por até 24 horas se o destino da entrega não estiver disponível e a fonte for o DirectPut. Se a fonte for o Kinesis Data Streams (KDS) e o destino não estiver disponível, os dados serão retidos de acordo com a configuração do KDS.

  • O tamanho máximo de um registro enviado para o Kinesis Data Firehose, antes da codificação na base64, é de 1.000 KiB.

  • A operação PutRecordBatch pode armazenar até 500 registros por chamada ou 4 MiB por chamada, o que for menor. Essa cota não pode ser alterada.

  • As operações a seguir podem fornecer até cinco invocações por segundo (esse é um limite fixo): CreateDeliveryStream, DeleteDeliveryStream, DescribeDeliveryStream, ListDeliveryStreams, UpdateDestination, TagDeliveryStream, UntagDeliveryStream, ListTagsForDeliveryStream, StartDeliveryStreamEncryption, StopDeliveryStreamEncryption.

  • As sugestões de tamanho do buffer variam de 1 MiB a 128 MiB para entrega do Amazon S3. Para entrega do Amazon OpenSearch Service (OpenSearch Service), eles variam de 1 MB a 100 MB. Para o processamento do AWS Lambda, você pode definir uma sugestão de armazenamento em buffer entre 0,2 MB e 3 MB usando o parâmetro de processador BufferSizeInMBs. O limite de tamanho é aplicado ao buffer antes da compactação. Essas opções são tratadas como sugestões. O Kinesis Data Firehose pode escolher usar valores diferentes quando for o ideal.

  • As dicas de intervalo do buffer variam de 60 a 900 segundos.

  • Para entrega do Kinesis Data Firehose ao Amazon Redshift, somente clusters do Amazon Redshift são aceitos.

  • O intervalo de duração de novas tentativas é de 0 a 7.200 segundos nas entregas do Amazon Redshift e do OpenSearch Service.

  • O Kinesis Data Firehose é compatível com o Elasticsearch versões 1.5, 2.3, 5.1, 5.3, 5.5, 5.6 e todas as versões 6.* e 7.* e com o Amazon OpenSearch Service 1.x e posteriores.

  • Quando o destino é o Amazon S3, o Amazon Redshift ou o OpenSearch Service, o Kinesis Data Firehose aceita até 5 invocações do Lambda pendentes por fragmento. Para o Splunk, a cota é de 10 invocações pendentes do Lambda por fragmento.

  • É possível usar um CMK do tipo CUSTOMER_MANAGED_CMK para criptografar até 500 fluxos de entrega.