使用 Spark 連接器時的考量和限制

• 建議您激活 SSL，進行從 Spark on Amazon EMR 到 Amazon Redshift 的 JDBC 連接。

• 作為最佳實務，建議您在 AWS Secrets Manager 中管理 Amazon Redshift 叢集的憑證。如需了解相關範例，請參閱使用 AWS Secrets Manager 擷取連線至 Amazon Redshift 的登入資料。

• 建議使用 Amazon Redshift 身分驗證參數的 aws_iam_role 參數傳遞 IAM 角色。

• 參數 tempformat 目前不支援 Parquet 格式。

• tempdir URI 指向 Amazon S3 位置。此暫時目錄不會自動清理，因此可能會增加額外的費用。

• 請考慮下列針對 Amazon Redshift 的建議：

  • 建議您封鎖對 Amazon Redshift 叢集的公開存取。

  • 建議開啟 Amazon Redshift 稽核日誌。

  • 建議開啟 Amazon Redshift 靜態加密。

• 請考慮下列針對 Amazon S3 的建議：

  • 建議阻止 Amazon S3 儲存貯體的公有存取。

  • 建議使用 Amazon S3 伺服器端加密來加密您使用的 S3 儲存貯體。

  • 建議使用 Amazon S3 生命週期政策來定義 S3 儲存貯體的保留規則。

  • Amazon EMR 一律會驗證從開放原始碼匯入到映像的程式碼。為了安全起見，我們不支援將 tempdir URI 中的 AWS 存取金鑰編碼為從 Spark 到 Amazon S3 的身分驗證方法。

如需有關使用連接器及其支援參數的詳細資訊，請參閱下列資源：

• 《Amazon Redshift 管理指南》中的 Apache Spark 的 Amazon Redshift 整合

• Github 上的 spark-redshift 社群儲存庫