將亞馬遜資料 Firehose 串流交付到 Amazon S3 中的 Apache 冰山表格已處於預覽狀態,且可能會有所變更。
本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使用範例資料測試 Firehose 串流
您可以使用擷 AWS Management Console 取模擬股票股票代碼資料。主控台會在您的瀏覽器中執行指令碼,將範例記錄放入 Firehose 串流中。這可讓您測試 Firehose 串流的組態,而不必產生自己的測試資料。
以下為取自模擬資料的範例:
{"TICKER_SYMBOL":"QXZ","SECTOR":"HEALTHCARE","CHANGE":-0.05,"PRICE":84.51}
請注意,當您的 Firehose 串流傳輸資料時,會收取標準 Amazon 資料 Firehose 費用,但產生資料時不會收取任何費用。若要停止產生這些費用,您可以隨時從主控台停止範例串流。
必要條件
在開始之前,請先建立「Firehose」串流。如需詳細資訊,請參閱教學課程:從主控台建立 Firehose 串流。
使用 Amazon S3 測試
使用下列程序,以亞馬遜簡單儲存服務 (Amazon S3) 做為目的地測試您的 Firehose 串流。
若要使用 Amazon S3 測試 Firehose 串流
-
打開 Firehose 主控台,位於https://console.aws.amazon.com/firehose/
。 -
選擇使用中的「Firehose」串流。Firehose 串流必須處於「作用中」狀態,您才能開始傳送資料。
-
在 Test with demo data (以示範資料測試) 底下,選擇 Start sending demo data (開始傳送示範資料) 以產生股票行情資料範例。
-
按照螢幕上的指示,確認資料正交付到 S3 儲存貯體。請注意,根據您在儲存貯體的緩衝設定,新物件可能需要幾分鐘才會出現於您的儲存貯體中。
-
測試完成後,選擇 Stop sending demo data (停止傳送示範資料) 以停止產生使用費。
使用 Amazon Redshift 進行測試
使用下列程序,以 Amazon Redshift 做為目的地測試您的 Firehose 串流。
使用 Amazon Redshift 測試 Firehose 流
-
您的 Firehose 串流預期資料表會出現在您的 Amazon Redshift 叢集中。透過SQL界面 Connect 到 Amazon Redshift,然後執行下列陳述式以建立接受範例資料的表格。
create table firehose_test_table ( TICKER_SYMBOL varchar(4), SECTOR varchar(16), CHANGE float, PRICE float );
-
打開 Firehose 主控台,位於https://console.aws.amazon.com/firehose/
。 -
選擇使用中的「Firehose」串流。Firehose 串流必須處於「作用中」狀態,您才能開始傳送資料。
-
編輯 Firehose 串流的目的地詳細資料,以指向新建立的資料
firehose_test_table
表。 -
在 Test with demo data (以示範資料測試) 底下,選擇 Start sending demo data (開始傳送示範資料) 以產生股票行情資料範例。
-
按照螢幕上的指示,確認資料交付到表格中。請注意,根據緩衝設定,新的列可能需要幾分鐘才會出現於您的表格中。
-
測試完成後,選擇 Stop sending demo data (停止傳送示範資料) 以停止產生使用費。
-
編輯 Firehose 串流的目的地詳細資料,以指向另一個資料表。
-
(選用) 刪除
firehose_test_table
表格。
使用 OpenSearch 服務測試
使用下列程序,以 Amazon OpenSearch 服務做為目的地測試您的 Firehose 串流。
使用「服務」測試 Firehose 串 OpenSearch 流
-
打開 Firehose 主控台,位於https://console.aws.amazon.com/firehose/
。 -
選擇使用中的「Firehose」串流。Firehose 串流必須處於「作用中」狀態,您才能開始傳送資料。
-
在 Test with demo data (以示範資料測試) 底下,選擇 Start sending demo data (開始傳送示範資料) 以產生股票行情資料範例。
-
依照螢幕上的指示,確認資料是否已傳送至您的 OpenSearch 服務網域。如需詳細資訊,請參閱 Amazon OpenSearch 服務開發人員指南中的搜尋 OpenSearch 服務網域中的文件。
-
測試完成後,選擇 Stop sending demo data (停止傳送示範資料) 以停止產生使用費。
使用潑濺進行測試
使用下列程序,使用 Splunk 做為目的地來測試您的 Firehose 串流。
使用 Splunk 測試 Firehose 串流
-
打開 Firehose 主控台,位於https://console.aws.amazon.com/firehose/
。 -
選擇使用中的「Firehose」串流。Firehose 串流必須處於「作用中」狀態,您才能開始傳送資料。
-
在 Test with demo data (以示範資料測試) 底下,選擇 Start sending demo data (開始傳送示範資料) 以產生股票行情資料範例。
-
確認資料交付到您的 Splunk 索引。Splunk 中的搜尋範例為
sourcetype="aws:firehose:json"
和index="
。如需進一步了解如何在 Splunk 中搜尋事件,請參閱 Splunk 文件中的 Search Manualname-of-your-splunk-index
"。 如果測試資料未出現於您的 Splunk 索引,則請檢查您的 Amazon S3 儲存貯體是否有失敗事件。另請參閱資料未傳送至 Splunk。
-
測試結束後,選擇 Stop sending demo data (停止傳送示範資料) 以停止產生使用費。
測試與阿帕奇冰山表
請使用下列程序,以 Apache 冰山表做為目的地來測試您的 Firehose 串流。
使用 Apache 冰山表測試 Firehose 流
-
打開 Firehose 主控台,位於https://console.aws.amazon.com/firehose/
。 -
選擇使用中的「Firehose」串流。Firehose 串流必須處於「作用中」狀態,您才能開始傳送資料。
-
在 Test with demo data (以示範資料測試) 底下,選擇 Start sending demo data (開始傳送示範資料) 以產生股票行情資料範例。
-
按照屏幕上的說明確認數據是否正在傳遞到您的 Apache 冰山表。請注意,根據其緩衝配置,新對象可能需要幾分鐘的時間才會出現在您的存儲桶中。
-
如果測試資料未出現在 Apache 冰山資料表中,請檢查 Amazon S3 儲存貯體是否有失敗的事件。
-
測試結束後,選擇 Stop sending demo data (停止傳送示範資料) 以停止產生使用費。