啟用記錄格式轉換 - Amazon Data Firehose
從控制台啟用記錄格式轉換管理 Firehose 的記錄格式轉換 API

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

啟用記錄格式轉換

如果啟用記錄格式轉換，則無法將 Amazon 數據 Firehose 目的地設置為 Amazon OpenSearch 服務，亞馬遜紅移或 Splunk。啟用格式轉換後，Amazon S3 是您唯一可用於 Firehose 串流的目的地。以下部分說明如何從主控台和 Firehose API 作業啟用記錄格式轉換。有關如何設置記錄格式轉換的示例 AWS CloudFormation，請參閱 AWS::DataFirehose::DeliveryStream.

從控制台啟用記錄格式轉換

您可以在建立或更新 Firehose 串流時，在主控台上啟用資料格式轉換。啟用資料格式轉換後，Amazon S3 是唯一可以為 Firehose 串流設定的目的地。此外，啟用格式轉換將停用 Amazon S3 壓縮。然而，轉換程序中會自動出現 Snappy 壓縮。Amazon 數據 Firehose 在這種情況下使用的 Snappy 的框架格式與 Hadoop 兼容。這表示您可使用 Snappy 壓縮的結果，並在 Athena 中查詢這些資料。有關 Hadoop 依賴的活潑框架格式，請參閱 .java。BlockCompressorStream

啟用資料 Firehose 串流的資料格式轉換

  1. 登入 AWS Management Console，然後開啟 Amazon 資料 Firehose 主控台，網址為。https://console.aws.amazon.com/firehose/

  2. 選擇要更新的 Firehose 串流，或依照中的步驟建立新的 Firehose 串流。教學課程：從主控台建立 Firehose 串流

  3. 在 Convert record format (轉換記錄格式) 底下，將 Record format conversion (記錄格式轉換) 設定為 Enabled (已啟用)。

  4. 選擇您想要的輸出格式。如需有關這兩個選項的詳細資訊，請參閱 Apache 鑲木地板和 Apache ORC。

  5. 選擇一個 AWS Glue 用於指定來源記錄的結構描述的表格。設定區域、資料庫、表格與表格版本。

管理 Firehose 的記錄格式轉換 API

如果您希望 Amazon 數據 Firehose 將輸入數據的格式從JSON轉換為實木複合地板ORC，或者在擴展 DS3 或擴展DestinationConfiguration中指定可選DataFormatConversionConfiguration元素。DestinationUpdate如果您指定 DataFormatConversionConfiguration，則適用下列限制。