使用 Spark 結構化串流 Amazon Kinesis Data Streams 連接器 - Amazon EMR

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 Spark 結構化串流 Amazon Kinesis Data Streams 連接器

Amazon EMR 7.1.0 及更高版本在發行映像中包含火花結構化串 Amazon Kinesis Data Streams 連接器。有了這個連接器，您就可以使用 Amazon EMR 上的 Spark 來處理存放在 Amazon Kinesis Data Streams。連接器支援消費者類型 GetRecords (共用輸送量) 和 SubscribeToShard (增強型散發)。此整合是以 spark-sql-kinesis-connector. 如需如何開始使用連接器的詳細資訊，請參閱 README。

下列範例示範如何使用連接器，透過 Amazon EMR 啟動 Spark 應用程式

spark-submit my_kinesis_streaming_script.py