将适用于 Apache Spark 的 Amazon Redshift 集成与 Amazon EMR 结合使用

PDFRSS

在 Amazon EMR 发行版 6.4.0 及更高版本中，每个版本的映像都包含 Apache Spark 和 Amazon Redshift 之间的连接器。通过该连接器，您可以在 Amazon EMR 上使用 Spark 处理存储在 Amazon Redshift 中的数据。对于 Amazon EMR 发行版 6.4.0 至 6.8.0，集成基于 spark-redshift 开源连接器。对于 Amazon EMR 发行版 6.9.0 及更高版本，适用于 Apache Spark 的 Amazon Redshift 集成已从社区版本迁移到本地集成。

主题

• 使用适用于 Apache Spark 的 Amazon Redshift 集成启动 Spark 应用程序

• 使用适用于 Apache Spark 的 Amazon Redshift 集成进行身份验证

• 在 Amazon Redshift 中进行读取和写入

• 使用 Spark 连接器时的注意事项和限制