使用亚马逊 Redshift 与 Apache Spark 的集成与亚马逊 EMR

在亚马逊EMR版本6.4.0及更高版本中，每张发布的图片都包含A pache Spark和Amazon Redshift 之间的连接器。使用此连接器，您可以使用亚马逊上的 Spark EMR 来处理存储在 Amazon Redshift 中的数据。对于亚马逊EMR版本 6.4.0 到 6.8.0，集成基于开源连接器。spark-redshift对于亚马逊EMR版本 6.9.0 及更高版本，A pache Spark 的 Amazon Redshift 集成已从社区版本迁移到原生集成。

主题

• 使用适用于 Apache Spark 的 Amazon Redshift 集成启动 Spark 应用程序
• 使用适用于 Apache Spark 的 Amazon Redshift 集成进行身份验证
• 在 Amazon Redshift 中进行读取和写入
• 使用 Spark 连接器时的注意事项和限制