Spark 커넥터 사용 시 고려 사항 및 제한 사항

• Amazon의 Spark에서 Amazon JDBC Redshift로 EMR 연결하려면 SSL 켜는 것이 좋습니다.

• 모범 사례로 AWS Secrets Manager 에서 Amazon Redshift 클러스터의 보안 인증을 관리하는 것이 좋습니다. Amazon Redshift에 연결하기 위한 자격 증명을 검색하는 데 사용하는 예를 보려면 사용을 AWS Secrets Manager 참조하십시오.

• Amazon Redshift 인증 파라미터에 aws_iam_role 대한 파라미터와 함께 IAM 역할을 전달하는 것이 좋습니다.

• Amazon S3 위치를 tempdir URI 가리킵니다. 이 임시 디렉터리는 자동으로 정리되지 않으므로, 추가 비용이 발생할 수 있습니다.

• Amazon Redshift에 대한 다음 권장 사항을 고려합니다.

  • Amazon Redshift 클러스터에 대한 퍼블릭 액세스를 차단하는 것이 좋습니다.

  • Amazon Redshift 감사 로깅을 켜는 것이 좋습니다.

  • Amazon Redshift 저장 데이터 암호화를 켜는 것이 좋습니다.

• Amazon S3에 대한 다음 권장 사항을 고려합니다.

  • Amazon S3 버킷에 대한 퍼블릭 액세스를 차단하는 것이 좋습니다.

  • Amazon S3 서버 측 암호화를 사용하여 사용된 Amazon S3 버킷을 암호화하는 것이 좋습니다.

  • Amazon S3 수명 주기 정책을 사용하여 Amazon S3 버킷에 대한 보존 규칙을 정의하는 것이 좋습니다.

  • Amazon은 EMR 항상 오픈 소스에서 이미지로 가져온 코드를 확인합니다. 보안을 위해 Spark에서 Amazon S3로의 다음 인증 방법은 지원되지 않습니다.

    • 구성 분류에서 AWS hadoop-env 액세스 키 설정

    • 에서 AWS 액세스 키를 인코딩합니다. tempdir URI

커넥터 사용 및 지원되는 파라미터에 대한 자세한 내용은 다음 리소스를 참조하세요.

• Amazon Redshift 관리 안내서의 Apache Spark용 Amazon Redshift 통합

• Github의 spark-redshift community repository