使用範例資料測試 Firehose 串流 - Amazon 數據 Firehose

將亞馬遜資料 Firehose 串流交付到 Amazon S3 中的 Apache 冰山表格已處於預覽狀態,且可能會有所變更。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用範例資料測試 Firehose 串流

您可以使用擷 AWS Management Console 取模擬股票股票代碼資料。主控台會在您的瀏覽器中執行指令碼,將範例記錄放入 Firehose 串流中。這可讓您測試 Firehose 串流的組態,而不必產生自己的測試資料。

以下為取自模擬資料的範例:

{"TICKER_SYMBOL":"QXZ","SECTOR":"HEALTHCARE","CHANGE":-0.05,"PRICE":84.51}

請注意,當您的 Firehose 串流傳輸資料時,會收取標準 Amazon 資料 Firehose 費用,但產生資料時不會收取任何費用。若要停止產生這些費用,您可以隨時從主控台停止範例串流。

必要條件

在開始之前,請先建立「Firehose」串流。如需詳細資訊,請參閱教學課程:從主控台建立 Firehose 串流

使用 Amazon S3 測試

使用下列程序,以亞馬遜簡單儲存服務 (Amazon S3) 做為目的地測試您的 Firehose 串流。

若要使用 Amazon S3 測試 Firehose 串流
  1. 打開 Firehose 主控台,位於https://console.aws.amazon.com/firehose/

  2. 選擇使用中的「Firehose」串流。Firehose 串流必須處於「作用中」狀態,您才能開始傳送資料。

  3. Test with demo data (以示範資料測試) 底下,選擇 Start sending demo data (開始傳送示範資料) 以產生股票行情資料範例。

  4. 按照螢幕上的指示,確認資料正交付到 S3 儲存貯體。請注意,根據您在儲存貯體的緩衝設定,新物件可能需要幾分鐘才會出現於您的儲存貯體中。

  5. 測試完成後,選擇 Stop sending demo data (停止傳送示範資料) 以停止產生使用費。

使用 Amazon Redshift 進行測試

使用下列程序,以 Amazon Redshift 做為目的地測試您的 Firehose 串流。

使用 Amazon Redshift 測試 Firehose 流
  1. 您的 Firehose 串流預期資料表會出現在您的 Amazon Redshift 叢集中。透過SQL界面 Connect 到 Amazon Redshift,然後執行下列陳述式以建立接受範例資料的表格。

    create table firehose_test_table ( TICKER_SYMBOL varchar(4), SECTOR varchar(16), CHANGE float, PRICE float );
  2. 打開 Firehose 主控台,位於https://console.aws.amazon.com/firehose/

  3. 選擇使用中的「Firehose」串流。Firehose 串流必須處於「作用中」狀態,您才能開始傳送資料。

  4. 編輯 Firehose 串流的目的地詳細資料,以指向新建立的資料firehose_test_table表。

  5. Test with demo data (以示範資料測試) 底下,選擇 Start sending demo data (開始傳送示範資料) 以產生股票行情資料範例。

  6. 按照螢幕上的指示,確認資料交付到表格中。請注意,根據緩衝設定,新的列可能需要幾分鐘才會出現於您的表格中。

  7. 測試完成後,選擇 Stop sending demo data (停止傳送示範資料) 以停止產生使用費。

  8. 編輯 Firehose 串流的目的地詳細資料,以指向另一個資料表。

  9. (選用) 刪除 firehose_test_table表格。

使用 OpenSearch 服務測試

使用下列程序,以 Amazon OpenSearch 服務做為目的地測試您的 Firehose 串流。

使用「服務」測試 Firehose 串 OpenSearch 流
  1. 打開 Firehose 主控台,位於https://console.aws.amazon.com/firehose/

  2. 選擇使用中的「Firehose」串流。Firehose 串流必須處於「作用中」狀態,您才能開始傳送資料。

  3. Test with demo data (以示範資料測試) 底下,選擇 Start sending demo data (開始傳送示範資料) 以產生股票行情資料範例。

  4. 依照螢幕上的指示,確認資料是否已傳送至您的 OpenSearch 服務網域。如需詳細資訊,請參閱 Amazon OpenSearch 服務開發人員指南中的搜尋 OpenSearch 服務網域中的文件。

  5. 測試完成後,選擇 Stop sending demo data (停止傳送示範資料) 以停止產生使用費。

使用潑濺進行測試

使用下列程序,使用 Splunk 做為目的地來測試您的 Firehose 串流。

使用 Splunk 測試 Firehose 串流
  1. 打開 Firehose 主控台,位於https://console.aws.amazon.com/firehose/

  2. 選擇使用中的「Firehose」串流。Firehose 串流必須處於「作用中」狀態,您才能開始傳送資料。

  3. Test with demo data (以示範資料測試) 底下,選擇 Start sending demo data (開始傳送示範資料) 以產生股票行情資料範例。

  4. 確認資料交付到您的 Splunk 索引。Splunk 中的搜尋範例為 sourcetype="aws:firehose:json"index="name-of-your-splunk-index"。如需進一步了解如何在 Splunk 中搜尋事件,請參閱 Splunk 文件中的 Search Manual

    如果測試資料未出現於您的 Splunk 索引,則請檢查您的 Amazon S3 儲存貯體是否有失敗事件。另請參閱資料未傳送至 Splunk

  5. 測試結束後,選擇 Stop sending demo data (停止傳送示範資料) 以停止產生使用費。

測試與阿帕奇冰山表

請使用下列程序,以 Apache 冰山表做為目的地來測試您的 Firehose 串流。

使用 Apache 冰山表測試 Firehose 流
  1. 打開 Firehose 主控台,位於https://console.aws.amazon.com/firehose/

  2. 選擇使用中的「Firehose」串流。Firehose 串流必須處於「作用中」狀態,您才能開始傳送資料。

  3. Test with demo data (以示範資料測試) 底下,選擇 Start sending demo data (開始傳送示範資料) 以產生股票行情資料範例。

  4. 按照屏幕上的說明確認數據是否正在傳遞到您的 Apache 冰山表。請注意,根據其緩衝配置,新對象可能需要幾分鐘的時間才會出現在您的存儲桶中。

  5. 如果測試資料未出現在 Apache 冰山資料表中,請檢查 Amazon S3 儲存貯體是否有失敗的事件。

  6. 測試結束後,選擇 Stop sending demo data (停止傳送示範資料) 以停止產生使用費。