故障排除 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

故障排除

在安装 Livy 时输入你自己的 Livy 和 Spark 配置

你可以使用 Helm 属性配置任何 Apache Livy 或 Apache Spark 环境变量。env.*按照以下步骤将示例配置example.config.with-dash.withUppercase转换为支持的环境变量格式。

  1. 将大写字母替换为 1 和小写字母。例如，example.config.with-dash.withUppercase 改为 example.config.with-dash.with1uppercase。

  2. 将破折号 (-) 替换为 0。例如，example.config.with-dash.with1uppercase变成 example.config.with0dash.with1uppercase

  3. 将点 (.) 替换为下划线 (_)。例如，example.config.with0dash.with1uppercase 改为 example_config_with0dash_with1uppercase。

  4. 将所有小写字母替换为大写字母。

  5. 在变量名中LIVY_添加前缀。

  6. 在通过掌舵图安装 Livy 时使用该变量，格式为--set env。 YOUR_VARIABLE_NAME .value= 你的值

例如，要设置 Livy 和 Spark 的配置livy.server.recovery.state-store = filesystem以及spark.kubernetes.executor.podNamePrefix = my-prefix，请使用以下 Helm 属性：

—set env.LIVY_LIVY_SERVER_RECOVERY_STATE0STORE.value=filesystem
—set env.LIVY_SPARK_KUBERNETES_EXECUTOR_POD0NAME0PREFIX.value=myprefix