Résolution des problèmes - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Résolution des problèmes

Entrer vos propres configurations Livy et Spark lors de l'installation de Livy

Vous pouvez configurer n'importe quelle variable d'environnement Apache Livy ou Apache Spark avec la propriété env.* Helm. Suivez les étapes ci-dessous pour convertir l'exemple de configuration dans un format example.config.with-dash.withUppercase de variable d'environnement pris en charge.

  1. Remplacez les lettres majuscules par un 1 et une minuscule de la lettre. Par exemple, example.config.with-dash.withUppercase devient example.config.with-dash.with1uppercase.

  2. Remplacez les tirets (-) par 0. Par exemple, example.config.with-dash.with1uppercase devient example.config.with0dash.with1uppercase

  3. Remplacez les points (.) par des traits de soulignement (_). Par exemple, example.config.with0dash.with1uppercase devient example_config_with0dash_with1uppercase.

  4. Remplacez toutes les lettres minuscules par des lettres majuscules.

  5. Ajoutez le préfixe LIVY_ au nom de la variable.

  6. Utilisez la variable lors de l'installation de Livy via le graphique de barre en utilisant le format --set env. YOUR_VARIABLE_NAME .value = votre valeur

Par exemple, pour définir les configurations Livy et Spark livy.server.recovery.state-store = filesystem et utiliser spark.kubernetes.executor.podNamePrefix = my-prefix les propriétés Helm suivantes :

—set env.LIVY_LIVY_SERVER_RECOVERY_STATE0STORE.value=filesystem
—set env.LIVY_SPARK_KUBERNETES_EXECUTOR_POD0NAME0PREFIX.value=myprefix