As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Usando o conector Amazon Kinesis Data Streams de streaming estruturado do Spark
As versões 7.1.0 e posteriores do Amazon EMR incluem um conector Amazon Kinesis Data Streams de streaming estruturado por Spark na imagem de lançamento. Com esse conector, você pode usar o Spark no Amazon EMR para processar dados armazenados no Amazon Kinesis Data Streams. O conector é compatível com os tipos de consumidor GetRecords
(taxa de transferência compartilhada) e SubscribeToShard
(fan-out aprimorado). Essa integração é baseada no
spark-sql-kinesis-connector
O exemplo a seguir demonstra como usar o conector para iniciar um aplicativo Spark com o Amazon EMR
spark-submit
my_kinesis_streaming_script.py