將亞馬遜資料 Firehose 串流交付到 Amazon S3 中的 Apache 冰山表格已處於預覽狀態,且可能會有所變更。
本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
設定緩衝提示
Amazon Data Firehose 會將記憶體中的傳入串流資料緩衝至特定大小 (緩衝大小) 和一段特定時間 (緩衝間隔),然後再將其傳送到指定的目的地。當您想要將最佳大小的檔案交付到 Amazon S3,並從資料處理應用程式獲得更好的效能,或調整 Firehose 交付率以符合目的地速度時,可以使用緩衝提示。
您可以在建立新 Firehose 串流時設定緩衝大小和緩衝區間隔,或更新現有 Firehose 串流的緩衝大小和緩衝間隔。緩衝大小的測量單位為單位MBs,緩衝間隔以秒為單位測量。不過,如果指定它們其中一個值,您也必須提供其他的值。滿足的第一個緩衝區條件會觸發 Firehose 傳送資料。如果您未設定緩衝值,則會使用預設值。
您可以透過 AWS Management Console、 AWS Command Line Interface或來設定 Firehose 緩衝提示。 AWS SDKs對於現有串流,您可以使用主控台中的 「編輯」 選項或使用. UpdateDestinationAPI 對於新串流,您可以使用主控台或使用 CreateDeliveryStreamAPI. 若要調整緩衝大小,請IntervalInSeconds
在CreateDeliveryStream或UpdateDestinationAPI的目標特定DestinationConfiguration
參數中設定SizeInMBs
和。
注意
-
緩衝區提示會套用於碎片或分割區層級,而動態磁碟分割緩衝區提示則套用於串流或主題層級。
-
為了滿足即時使用案例的較低延遲,您可以使用零緩衝間隔提示。當您將緩衝間隔設定為零秒時,Firehose 不會緩衝資料,而且會在幾秒鐘內傳送資料。在您將緩衝提示變更為較低的值之前,請洽詢廠商以取得 Firehose 目的地的建議緩衝提示。
零緩衝功能僅適用於應用程式目的地,不適用於 Amazon S3 備份目的地。
-
零緩衝功能不適用於動態磁碟分割。
-
當您設定少於 60 秒的緩衝時間間隔以提供較低的延遲時間時,Firehose 會針對 S3 目的地使用多部分上傳。由於 S3 目的地的多部分上傳,如果您選擇的緩衝時間間隔少於 60 秒,則 S3
PUT
API 成本會有所增加。
如需目的地特定緩衝提示範圍和預設值,請參閱下表:
目的地 | 緩衝大小(以 MB 為單位)(默認在括號中) | 緩衝間隔 (以秒為單位) (預設值在括號中) |
---|---|---|
Amazon S3 | 一百二十八 (5) | 0-900 |
阿帕奇冰山表 | 一百二十八 (5) | 0-900 |
Amazon Redshift | 一百二十八 (5) | 0-900 |
OpenSearch 無伺服器 | 一百 | 0-900 |
OpenSearch | 一百 | 0-900 |
Splunk | 一至五 | 六十 |
Datadog | 1-4 | 零九 |
Coralogix | 1-64 (6) | 零九 |
Dynatrace | 1-64 (5) | 零九 |
彈性 | 1 | 零九 |
Honeycomb | 1-64 | 零九 |
HTTP端點 | 1-64 (5) | 零九 |
LogicMonitor | 1-64 (5) | 零九 |
洛吉奧 | 1-64 (5) | 零九 |
蒙古数据库 | 一月一十六 | 零九 |
newRelic | 1-64 (5) | 零九 |
sumoLogic | 1-64 (1) | 零九 |
Splunk Observability Cloud | 1-64 (1) | 零九 |
Snowflake | 一至一百二十八 (一) | 0-900 (0) |