設定緩衝提示 - Amazon 數據 Firehose

將亞馬遜資料 Firehose 串流交付到 Amazon S3 中的 Apache 冰山表格已處於預覽狀態,且可能會有所變更。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

設定緩衝提示

Amazon Data Firehose 會將記憶體中的傳入串流資料緩衝至特定大小 (緩衝大小) 和一段特定時間 (緩衝間隔),然後再將其傳送到指定的目的地。當您想要將最佳大小的檔案交付到 Amazon S3,並從資料處理應用程式獲得更好的效能,或調整 Firehose 交付率以符合目的地速度時,可以使用緩衝提示。

您可以在建立新 Firehose 串流時設定緩衝大小和緩衝區間隔,或更新現有 Firehose 串流的緩衝大小和緩衝間隔。緩衝大小的測量單位為單位MBs,緩衝間隔以秒為單位測量。不過,如果指定它們其中一個值,您也必須提供其他的值。滿足的第一個緩衝區條件會觸發 Firehose 傳送資料。如果您未設定緩衝值,則會使用預設值。

您可以透過 AWS Management Console、 AWS Command Line Interface或來設定 Firehose 緩衝提示。 AWS SDKs對於現有串流,您可以使用主控台中的 「編輯」 選項或使用. UpdateDestinationAPI 對於新串流,您可以使用主控台或使用 CreateDeliveryStreamAPI. 若要調整緩衝大小,請IntervalInSecondsCreateDeliveryStreamUpdateDestinationAPI的目標特定DestinationConfiguration參數中設定SizeInMBs和。

注意
  • 緩衝區提示會套用於碎片或分割區層級,而動態磁碟分割緩衝區提示則套用於串流或主題層級。

  • 為了滿足即時使用案例的較低延遲,您可以使用零緩衝間隔提示。當您將緩衝間隔設定為零秒時,Firehose 不會緩衝資料,而且會在幾秒鐘內傳送資料。在您將緩衝提示變更為較低的值之前,請洽詢廠商以取得 Firehose 目的地的建議緩衝提示。

  • 零緩衝功能僅適用於應用程式目的地,不適用於 Amazon S3 備份目的地。

  • 零緩衝功能不適用於動態磁碟分割。

  • 當您設定少於 60 秒的緩衝時間間隔以提供較低的延遲時間時,Firehose 會針對 S3 目的地使用多部分上傳。由於 S3 目的地的多部分上傳,如果您選擇的緩衝時間間隔少於 60 秒,則 S3 PUT API 成本會有所增加。

如需目的地特定緩衝提示範圍和預設值,請參閱下表:

目的地 緩衝大小(以 MB 為單位)(默認在括號中) 緩衝間隔 (以秒為單位) (預設值在括號中)
Amazon S3 一百二十八 (5) 0-900
阿帕奇冰山表 一百二十八 (5) 0-900
Amazon Redshift 一百二十八 (5) 0-900
OpenSearch 無伺服器 一百 0-900
OpenSearch 一百 0-900
Splunk 一至五 六十
Datadog 1-4 零九
Coralogix 1-64 (6) 零九
Dynatrace 1-64 (5) 零九
彈性 1 零九
Honeycomb 1-64 零九
HTTP端點 1-64 (5) 零九
LogicMonitor 1-64 (5) 零九
洛吉奧 1-64 (5) 零九
蒙古数据库 一月一十六 零九
newRelic 1-64 (5) 零九
sumoLogic 1-64 (1) 零九
Splunk Observability Cloud 1-64 (1) 零九
Snowflake 一至一百二十八 (一) 0-900 (0)