Cuota de Amazon Data Firehose - Amazon Data Firehose

Con Amazon MSK como fuente de la transmisión de Firehose, cada transmisión de Firehose tiene una cuota predeterminada de 10 MB/s de rendimiento de lectura por partición y un tamaño de registro máximo de 10 MB. Puede utilizar el aumento de la cuota del servicio para solicitar un aumento de la cuota predeterminada de 10 MB/s de rendimiento de lectura por partición.

Con Amazon MSK como fuente de la transmisión de Firehose, hay un tamaño de registro máximo de 6 Mb si AWS Lambda está habilitada y el tamaño máximo de registro es de 10 Mb si Lambda está deshabilitada. AWS Lambda limita su registro entrante a 6 MB y Amazon Data Firehose reenvía los registros de más de 6 MB a un bucket de error de S3. Si Lambda está deshabilitada, Firehose limita su registro entrante a 10 MB. Si Amazon Data Firehose recibe un tamaño de registro de Amazon MSK superior a 10 MB, Amazon Data Firehose envía este registro al depósito de errores de S3 y emite las métricas de Cloudwatch a su cuenta. Para obtener más información sobre las AWS Límites Lambda, consulte: https://docs.aws.amazon.com/lambda/ latest/dg/gettingstarted-limits.html.

Cuando se habilita la partición dinámica en una transmisión de Firehose, hay una cuota predeterminada de 500 particiones activas que se pueden crear para esa transmisión de Firehose. El recuento de particiones activas es el número total de particiones activas en el búfer de entrega. Por ejemplo, si la consulta de particionamiento dinámico crea 3 particiones por segundo y tiene una configuración de sugerencias de búfer que activa la entrega cada 60 segundos, tendrá un promedio de 180 particiones activas. Una vez que los datos se entregan en una partición, dicha partición deja de estar activa. Puede utilizar el formulario Amazon Data Firehose Limits para solicitar un aumento de esta cuota hasta 5000 particiones activas por transmisión de Firehose determinada. Si necesitas más particiones, puedes crear más transmisiones de Firehose y distribuir las particiones activas entre ellas.

Cuando se habilita la partición dinámica en una transmisión Firehose, se admite un rendimiento máximo de 1 GB por segundo para cada partición activa.

Cada cuenta tendrá la siguiente cuota de retransmisiones de Firehose por región:

EE.UU. Este (Norte de Virginia), EE.UU. Este (Ohio), EE.UU. Oeste (Oregón), Europa (Irlanda), Asia-Pacífico (Tokio): 5,000 Firehose Streams
Europa (Fráncfort), Europa (Londres), Asia Pacífico (Singapur), Asia Pacífico (Sídney), Asia Pacífico (Seúl), Asia Pacífico (Bombay), AWS GovCloud (EEUU-Oeste), Canadá (Oeste), Canadá (Centro): 2.000 arroyos Firehose
Europa (París), Europa (Milán), Europa (Estocolmo), Asia Pacífico (Hong Kong), Asia Pacífico (Osaka), Sudamérica (São Paulo), China (Ningxia), China (Pekín), Oriente Medio (Bahréin), AWS GovCloud (Este de EE. UU.), África (Ciudad del Cabo): 500 Firehose Streams
Europa (Zúrich), Europa (España), Asia Pacífico (Hyderabad), Asia Pacífico (Yakarta), Asia Pacífico (Melbourne), Oriente Medio (), Israel (Tel AvivUAE), Canadá occidental (Calgary), Canadá (Central), Asia Pacífico (Malasia): 100 arroyos Firehose
Si superas este número, una llamada a este número supone una excepción CreateDeliveryStream. LimitExceededException Para aumentar esta cuota, puede utilizar Service Quotas si está disponible en su región. Para obtener más información acerca de cómo usar Service Quotas, consulte Requesting a Quota Increase. Si las cuotas de servicio no están disponibles en tu región, puedes utilizar el formulario Amazon Data Firehose Limits para solicitar un aumento.

Cuando Direct PUT se configura como fuente de datos, cada transmisión de Firehose proporciona la siguiente cuota combinada de solicitudes PutRecordy PutRecordBatchcuotas:

Para Este de EE. UU. (Norte de Virginia), Oeste de EE. UU. (Oregón) y Europa (Irlanda): 500 000 registros por segundo, 2000 solicitudes por segundo y 5 MiB por segundo.
Para EE.UU. Este (Ohio), EE.UU. Oeste (Norte de California), AWS GovCloud (EE. UU.-Este), AWS GovCloud (EEUU-Oeste), Asia Pacífico (Hong Kong), Asia Pacífico (Bombay), Asia Pacífico (Seúl), Asia Pacífico (Singapur), China (Beijing), China (Ningxia), Asia Pacífico (Sídney), Asia Pacífico (Tokio), Canadá (Central), Canadá Oeste (Calgary), Europa (Fráncfort), Europa (Londres), Europa (París), Europa (Estocolmo), Oriente Medio (Bahréin), Sudamérica (São Paulo), África (Ciudad del Cabo), Asia Pacífico (Malasia) y Europa (Milán): 100 000 registros por segundo, 1 000 solicitudes por segundo y 1 MIB/segundo.

Para solicitar un aumento de la cuota, utiliza el formulario Amazon Data Firehose Limits. Las tres cuotas escalan proporcionalmente. Por ejemplo, si aumenta la cuota de rendimiento en Este de EE. UU. (Norte de Virginia), Oeste de EE. UU. (Oregón) o Europa (Irlanda) a 10 MiB por segundo, las otras dos cuotas aumentan a 4000 solicitudes por segundo y 1 000 000 registros por segundo.

importante

Si la cuota incrementada es muy superior al tráfico en ejecución, la entrega a los destinos se produce en lotes pequeños. Esto resulta poco eficiente y puede provocar costos superiores en los servicios de destino. Asegúrese de incrementar la cuota actual al nivel necesario para satisfacer solo el tráfico en ejecución, e increméntela más si el tráfico aumenta.

importante

Tenga en cuenta que los registros de datos más pequeños pueden generar costos más altos. Los precios de ingesta de Firehose se basan en la cantidad de registros de datos que envías al servicio, multiplicada por el tamaño de cada registro redondeado al alza a los 5 KB (5120 bytes) más cercanos. Por lo tanto, para el mismo volumen de datos de entrada (bytes), si hay un número mayor de registros de entrada, el costo incurrido será mayor. Por ejemplo, si el volumen total de datos de entrada es de 5 MiB, enviar 5 MiB de datos de más de 5000 registros cuesta más que enviar la misma cantidad de datos con 1000 registros. Para obtener más información, consulte Amazon Data Firehose en la AWS Calculadora.

nota

Cuando Kinesis Data Streams se configura como fuente de datos, esta cuota no se aplica y Amazon Data Firehose se amplía o reduce sin límite.

Cada Firehose Stream almacena los registros de datos durante un máximo de 24 horas en caso de que el destino de entrega no esté disponible y la fuente sí lo esté. DirectPut Si el origen es Kinesis Data Streams KDS () y el destino no está disponible, los datos se conservarán en función de KDS su configuración.

El tamaño máximo de un registro enviado a Amazon Data Firehose, antes de la codificación en base64, es de 1000 KiB.

La PutRecordBatchoperación puede tomar hasta 500 registros por llamada o 4 MiB por llamada, lo que sea menor. Esta cuota no se puede cambiar.

Cada una de las siguientes operaciones puede proporcionar hasta cinco invocaciones por segundo, lo cual es un límite estricto.

Las sugerencias de intervalo del búfer oscilan entre 60 y 900 segundos.

Para la entrega de Amazon Data Firehose a Amazon Redshift, solo se admiten los clústeres de Amazon Redshift de acceso público.

El intervalo de duración de los reintentos es de 0 a 7200 segundos para Amazon Redshift y Service Delivery. OpenSearch

Firehose es compatible con las versiones 1.5, 2.3, 5.1, 5.3, 5.5 y 5.6 de Elasticsearch, así como con todas las versiones 6.* y 7.* y con Amazon OpenSearch Service 2.x hasta 2.11.

Cuando el destino es Amazon S3, Amazon Redshift o OpenSearch Service, Amazon Data Firehose permite hasta 5 invocaciones Lambda pendientes por fragmento. En Splunk, la cuota es de 10 invocaciones de Lambda pendientes por partición.

Puedes usar un archivo CMK del tipo CUSTOMER _ MANAGED _ CMK para cifrar hasta 500 transmisiones de Firehose.