Amazon에서 Apache Spark에 Amazon Redshift 통합 사용 EMR

Amazon EMR 릴리스 6.4.0 이상에서는 모든 릴리스 이미지에 Apache Spark와 Amazon Redshift 간의 커넥터가 포함되어 있습니다. 이 커넥터를 사용하면 Amazon의 SparkEMR를 사용하여 Amazon Redshift에 저장된 데이터를 처리할 수 있습니다. Amazon EMR 릴리스 6.4.0~6.8.0의 경우 통합은 spark-redshift 오픈 소스 커넥터를 기반으로 합니다. Amazon EMR 릴리스 6.9.0 이상의 경우 Apache Spark용 Amazon Redshift 통합이 커뮤니티 버전에서 기본 통합으로 마이그레이션되었습니다.

주제

• Apache Spark용 Amazon Redshift 통합을 사용하여 Spark 애플리케이션 시작
• Apache Spark용 Amazon Redshift 통합으로 인증
• Amazon Redshift에서 읽고 쓰기
• Spark 커넥터 사용 시 고려 사항 및 제한 사항