Spark 커넥터 사용 시 고려 사항 및 제한 사항

PDFRSS

• Amazon EMR의 Spark에서 Amazon Redshift로의 JDBC 연결을 위해 SSL을 켜는 것이 좋습니다.

• 모범 사례로 AWS Secrets Manager 에서 Amazon Redshift 클러스터의 보안 인증을 관리하는 것이 좋습니다. 예제AWS Secrets Manager 는를 사용하여 Amazon Redshift에 연결하기 위한 자격 증명을 검색하기를 참조하세요.

• Amazon Redshift 인증 파라미터에 대해 aws_iam_role 파라미터를 사용하여 IAM 역할을 전달하는 것이 좋습니다.

• tempdir URI는 Amazon S3 위치를 가리킵니다. 이 임시 디렉터리는 자동으로 정리되지 않으므로, 추가 비용이 발생할 수 있습니다.

• Amazon Redshift에 대한 다음 권장 사항을 고려합니다.

  • Amazon Redshift 클러스터에 대한 퍼블릭 액세스를 차단하는 것이 좋습니다.

  • Amazon Redshift 감사 로깅을 켜는 것이 좋습니다.

  • Amazon Redshift 저장 데이터 암호화를 켜는 것이 좋습니다.

• Amazon S3에 대한 다음 권장 사항을 고려합니다.

  • Amazon S3 버킷에 대한 퍼블릭 액세스를 차단하는 것이 좋습니다.

  • Amazon S3 서버 측 암호화를 사용하여 사용된 Amazon S3 버킷을 암호화하는 것이 좋습니다.

  • Amazon S3 수명 주기 정책을 사용하여 Amazon S3 버킷에 대한 보존 규칙을 정의하는 것이 좋습니다.

  • Amazon EMR은 오픈 소스에서 이미지로 가져온 코드를 항상 확인합니다. 보안을 위해 Spark에서 Amazon S3로의 다음 인증 방법은 지원되지 않습니다.

    • hadoop-env 구성 분류에서 AWS 액세스 키 설정

    • tempdir URI에서 AWS 액세스 키 인코딩

커넥터 사용 및 지원되는 파라미터에 대한 자세한 내용은 다음 리소스를 참조하세요.

• Amazon Redshift 관리 안내서의 Apache Spark용 Amazon Redshift 통합

• Github의 spark-redshift community repository