Solução de problemas - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Solução de problemas

Inserindo suas próprias configurações do Livy e do Spark ao instalar o Livy

Você pode configurar qualquer variável de ambiente Apache Livy ou Apache Spark com a propriedade Helm. env.* Siga as etapas abaixo para converter o exemplo de configuração example.config.with-dash.withUppercase em um formato de variável de ambiente compatível.

  1. Substitua as letras maiúsculas por um 1 e uma minúscula da letra. Por exemplo, example.config.with-dash.withUppercase torna-se example.config.with-dash.with1uppercase.

  2. Substitua os traços (-) por 0. Por exemplo, example.config.with-dash.with1uppercase torna-se example.config.with0dash.with1uppercase

  3. Substitua os pontos (.) por sublinhados (_). Por exemplo, example.config.with0dash.with1uppercase torna-se example_config_with0dash_with1uppercase.

  4. Substitua todas as letras minúsculas por letras maiúsculas.

  5. Adicione o prefixo LIVY_ ao nome da variável.

  6. Use a variável ao instalar o Livy por meio do gráfico de comando usando o formato --set env. YOUR_VARIABLE_NAME .value= yourvalue

Por exemplo, para definir as configurações do Livy e do Spark livy.server.recovery.state-store = filesystem e use estas propriedades do spark.kubernetes.executor.podNamePrefix = my-prefix Helm:

—set env.LIVY_LIVY_SERVER_RECOVERY_STATE0STORE.value=filesystem
—set env.LIVY_SPARK_KUBERNETES_EXECUTOR_POD0NAME0PREFIX.value=myprefix