Menggunakan konektor Amazon Kinesis Data Streams streaming terstruktur Spark - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan konektor Amazon Kinesis Data Streams streaming terstruktur Spark

Amazon EMR merilis 7.1.0 dan yang lebih tinggi termasuk konektor streaming Amazon Kinesis Data Streams terstruktur percikan dalam gambar rilis. Dengan konektor ini, Anda dapat menggunakan Spark di Amazon EMR untuk memproses data yang disimpan di Amazon Kinesis Data Streams. Konektor mendukung kedua jenis konsumen GetRecords (throughput bersama) dan SubscribeToShard (fan-out yang ditingkatkan). Integrasi ini didasarkan pada spark-sql-kinesis-connector. Untuk detail tentang cara memulai menggunakan konektor, lihat README.

Contoh berikut menunjukkan cara menggunakan konektor untuk meluncurkan aplikasi Spark dengan Amazon EMR

spark-submit my_kinesis_streaming_script.py