使用 Amazon EMR 整合 Amazon Redshift 與 Apache Spark

使用 Amazon EMR 版本 6.4.0 及更高版本，每個版本映像都包括 Apache Spark 和 Amazon Redshift 之間的連接器。借助此連接器，您可以在 Amazon EMR 上使用 Spark 來處理存放在 Amazon Redshift 中的資料。對於 Amazon EMR 6.4.0 版到 6.8.0 版，整合以 spark-redshift 開放原始碼連接器為基礎。對於 Amazon EMR 6.9.0 版及更高版本，Amazon Redshift 與 Apache Spark 整合已從社群版本遷移至原生整合。

主題

• 使用 Apache Spark 的 Amazon Redshift 整合，啟動 Spark 應用程式
• 使用 Apache Spark 的 Amazon Redshift 整合進行身分驗證
• 讀取和寫入 Amazon Redshift
• 使用 Spark 連接器時的考量和限制