Amazon 數據 Firehose 配額 - Amazon 數據 Firehose

使用 Amazon MSK 做為 Firehose 串流的來源，每個 Firehose 串流的預設配額為每個分割區 10 MB /秒讀取輸送量和10MB 的最大記錄大小。您可以使用增加服務配額來要求增加每個分割區每秒 10 MB/秒的讀取輸送量的預設配額。

以 Amazon MSK 作為 Firehose 流的來源，如果有 6Mb 的最大記錄大小 AWS 如果禁用 Lambda，則啟用 Lambda，則最大記錄大小為 10Mb。 AWS Lambda 將其傳入記錄上限為 6 MB，而 Amazon 資料 Firehose 體會將 6Mb 以上的記錄轉送至錯誤 S3 儲存貯體。如果 Lambda 已停用，Firehose 會將其傳入的記錄限制為 10 MB。如果 Amazon 數據 Firehose 從 Amazon 收到大於 10MB 的記錄大小，那麼 Amazon MSK 數據 Firehose 會將此記錄交付到 S3 錯誤存儲桶，並將 Cloudwatch 指標發送到您的帳戶。有關更多信息 AWS Lambda 限制，請參閱：https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-limits.html。

啟用 Firehose 串流上的動態磁碟分割時，可以為該 Firehose 串流建立 500 個作用中分割區的預設配額。作用中分割區計數是交付緩衝區內的作用中分割區總數。例如，如果動態分割查詢每秒建構 3 個分割區，而且您的緩衝區提示組態會每 60 秒觸發交付，則平均而言，您就會有 180 個作用中分割區。在分割區中交付資料後，此分割區就不再處於作用中狀態。您可以使用 Amazon 資料防火管限制表單，請求將此配額增加至每個指定 Firehose 串流最多 5000 個作用中分割區。如果您需要更多分割區，您可以建立更多 Firehose 串流，並將作用中的分割區分散到它們之間。

啟用 Firehose 串流上的動態磁碟分割時，每個作用中分割區的最大輸送量為每秒 1 GB。

每個帳號的每個地區的 Firehose 串流數量有以下配額：

美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (奧勒岡)、歐洲 (愛爾蘭)、亞太區域 (東京)：5,000 個 Firehose 串流
歐洲 (法蘭克福)、歐洲 (倫敦)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (首爾)、亞太區域 (孟買)、 AWS GovCloud (美國西部)、加拿大 (西部)、加拿大 (中部)：2,000 個 Firehose 溪流
歐洲 (巴黎)、歐洲 (米蘭)、歐洲 (斯德哥爾摩)、亞太區域 (香港)、亞太區域 (大阪)、南美洲 (聖保羅)、中國 (寧夏)、中國 (北京)、中東 (巴林)、 AWS GovCloud (美國東部)、非洲 (開普敦)：500 條 Firehose 溪流
歐洲 (蘇黎世)、歐洲 (西班牙)、亞太區域 (海德拉巴)、亞太區域 (雅加達)、亞太區域 (墨爾本)、中東 (UAE)、以色列 (特拉維夫)、加拿大西部 (卡加利)、加拿大 (中部)、亞太區域 (馬來西亞)：100 個 Firehose Streams
如果超過這個數字，呼叫會CreateDeliveryStream導致LimitExceededException例外狀況。若要增加此配額，您可以使用 Service Quotas (如果您的區域提供的話)。如需有關使用 Service Quotas 的詳細資訊，請參閱請求配額提升。如果您的區域無法使用 Service Quotas，您可以使用 Amazon 資料 Firehose 限制表單申請增加。

當 Direct 設定PUT為資料來源時，每個 Firehose 串流會針對PutRecord和PutRecordBatch要求提供下列組合配額：

對於美國東部 (維吉尼亞北部)、美國西部 (奧勒岡) 和歐洲 (愛爾蘭)：500,000 筆記錄/秒、2,000 個請求/秒和 5 MiB/秒。
美國東部 (俄亥俄)、美國西部 (加利佛尼亞北部)、 AWS GovCloud (美國東部), AWS GovCloud (美國西部)、亞太區域 (香港)、亞太區域 (孟買)、亞太區域 (首爾)、亞太區域 (新加坡)、中國 (北京)、中國 (寧夏)、亞太區域 (雪梨)、亞太區域 (東京)、加拿大 (中部)、加拿大西部 (卡加利)、歐洲 (法蘭克福)、歐洲 (倫敦)、歐洲 (巴黎)、歐洲 (巴黎)、歐洲 (巴黎)、歐洲 (中部)、巴林 (中東)、斯德哥爾摩 (中保羅))、非洲 (開普敦)、亞太區域 (馬來西亞) 和歐洲 (米蘭)：每秒 100,000 筆記錄、每秒 1,000 筆請求，以及 1 MB /秒。

若要要求提高配額，請使用 Amazon 資料 Firehose 限制表單。這三個配額會按比例提高。例如，如果您將美國東部 (維吉尼亞北部)、美國西部 (奧勒岡) 或歐洲 (愛爾蘭) 中的輸送量配額提升至 10 MiB/秒，則另外兩個配額會提升至 4,000 個請求/秒，以及 1,000,000 筆記錄/秒。

重要

如果提高的配額遠高於執行中的流量，則會導致傳送至目的地的批次變得極小，既缺乏效率且可能使目的地服務產生更多成本。提高配額時，請務必符合目前執行中的流量，如果流量增加，應進一步提高配額。

重要

請注意，較小的資料記錄可能會帶來更高的成本。Firehose 擷取定價是根據您傳送至服務的資料記錄數量，乘以每筆記錄的大小四捨五入至最接近的 5KB (5120 位元組)。因此，對於相同的傳入資料 (位元組) 量，如果有更多的傳入記錄，則產生的成本會更高。例如，如果傳入資料量總計為 5 MiB，則與使用 1,000 筆記錄傳送相同數量的資料相比，傳送超過 5,000 筆記錄的 5 MiB 資料會花費更高。有關更多信息，請參閱 Amazon 數據 Firehose AWS 計算器。

注意

將 Kinesis Data Streams 設定為資料來源時，此配額不適用，而且 Amazon 資料 Firehose 無限制地上下擴展。

每個 Firehose 串流會儲存最多 24 小時的資料記錄，以防傳送目的地無法使用且來源為 DirectPut何。如果來源是 Kinesis Data Streams (KDS) 且目標無法使用，則會根據您的KDS組態保留資料。

在 base64 編碼之前，傳送至 Amazon 資料 Firehose 的記錄大小上限為 1,000 KiB。

該PutRecordBatch操作每次通話最多可以使用 500 條記錄或每次呼叫 4 MiB，以較小者為準。此配額無法變更。

下列每項作業每秒最多可提供五次呼叫，這是一個硬性限制。

緩衝提示間隔介於 60 秒到 900 秒。

對於從 Amazon 數據 Firehose 件交付到 Amazon Redshift，只支持可公開訪問的 Amazon Redshift 集群。

Amazon Redshift 和 OpenSearch 服務交付的重試持續時間範圍從 0 秒到 7,200 秒。

Firehose 支持彈性搜索版本 1.5，2.3，5.1，5.3，5.5，5.6，以及所有 6.* 和 7.* 版本和 Amazon OpenSearch 服務 2.x 最高 2.11。

當目的地是 Amazon S3、Amazon Redshift 或 OpenSearch 服務時，Amazon 數據 Firehose 允許每個碎片最多 5 次未完成的 Lambda 調用。對於 Splunk，配額為每個碎片 10 個未完成的 Lambda 調用。

您可以使用CMK類型 CUSTOMER _ MANAGED _ CMK 來加密多達 500 個 Firehose 串流。