使用 Spark 属性指定自定义配置 - Amazon Athena
使用 Athena 控制台使用 AWS CLI 或 Athena API

使用 Spark 属性指定自定义配置

在 Amazon Athena for Apache Spark 中创建或编辑会话时，可以使用 Spark 属性为会话指定 .jar 文件、包或其他自定义配置。要指定 Spark 属性，可使用 Athena 控制台、AWS CLI 或 Athena API。

使用 Athena 控制台指定 Spark 操作

在 Athena 控制台中，您可以在创建笔记本或编辑当前会话时指定 Spark 属性。

在创建笔记本或编辑会话详细信息对话框中添加属性

  1. 展开 Spark 属性。

  2. 要添加属性，使用在表中编辑或在 JSON 中编辑选项。

    • 对于在表中编辑选项，选择添加属性添加属性，或者选择移除移除属性。使用键和值框输入属性名称及其值。

      • 要添加自定义 .jar 文件，使用 spark.jars 属性。

      • 要指定包文件，使用 spark.jars.packages 属性。

    • 要直接输入和编辑配置，选择在 JSON 中编辑选项。在 JSON 文本编辑器中，您可以执行以下任务：

      • 要将 JSON 文本复制到剪贴板，选择复制。

      • 要从 JSON 编辑器中移除所有文本，选择清除。

      • 要配置换行或为 JSON 编辑器选择颜色主题，选择设置（齿轮）图标。

注意

  • 可在 Athena for Spark 中设置属性，这与直接在 SparkConf 对象上设置 Spark 属性相同。

  • 启动前缀为 spark. 的所有 Spark 属性。将忽略带有其他前缀的属性。

  • 在 Athena 上，并非所有 Spark 属性都可用于自定义配置。如果您提交的 StartSession 请求配置受限，则会话将无法启动。

    • 您不能使用 spark.athena. 前缀，因为它是预留前缀。

使用 AWS CLI 或 Athena API 提供自定义配置

要使用 AWS CLI 或 Athena API 提供会话配置，使用 StartSession API 操作或 start-session CLI 命令。在 StartSession 请求中，使用 EngineConfiguration 对象的 SparkProperties 字段以 JSON 格式传递您的配置信息。这将启动具有您指定的配置的会话。有关请求语法，请参阅《Amazon Athena API 参考》中的 StartSession。