Spark 구조적 스트리밍 아마존 Kinesis Data Streams 커넥터 사용 - Amazon EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Spark 구조적 스트리밍 아마존 Kinesis Data Streams 커넥터 사용

Amazon EMR 릴리스 7.1.0 이상에는 릴리스 이미지에 스파크 구조의 스트리밍 Amazon Kinesis Data Streams 커넥터가 포함되어 있습니다. 이 커넥터를 사용하면 Amazon EMR에서 Spark를 사용하여 Amazon Kinesis Data Streams에 저장된 데이터를 처리할 수 있습니다. 커넥터는 소비자 유형 GetRecords (공유 처리량) 과 SubscribeToShard (향상된 팬아웃) 을 모두 지원합니다. 이 통합은 을 기반으로 합니다. spark-sql-kinesis-connector 커넥터 사용을 시작하는 방법에 대한 자세한 내용은 README를 참조하십시오.

다음 예제는 커넥터를 사용하여 Amazon EMR에서 Spark 애플리케이션을 시작하는 방법을 보여줍니다.

spark-submit my_kinesis_streaming_script.py