Usando o conector Amazon Kinesis Data Streams de streaming estruturado do Spark - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usando o conector Amazon Kinesis Data Streams de streaming estruturado do Spark

As versões 7.1.0 e posteriores do Amazon EMR incluem um conector Amazon Kinesis Data Streams de streaming estruturado por Spark na imagem de lançamento. Com esse conector, você pode usar o Spark no Amazon EMR para processar dados armazenados no Amazon Kinesis Data Streams. O conector é compatível com os tipos de consumidor GetRecords (taxa de transferência compartilhada) e SubscribeToShard (fan-out aprimorado). Essa integração é baseada no spark-sql-kinesis-connector. Para obter detalhes sobre como começar a usar o conector, consulte o README.

O exemplo a seguir demonstra como usar o conector para iniciar um aplicativo Spark com o Amazon EMR

spark-submit my_kinesis_streaming_script.py