Fehlerbehebung - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Fehlerbehebung

Eingabe Ihrer eigenen Livy- und Spark-Konfigurationen während der Installation von Livy

Sie können jede Apache Livy- oder Apache Spark-Umgebungsvariable mit der Helm-Eigenschaft konfigurieren. env.* Gehen Sie wie folgt vor, um die Beispielkonfiguration in ein unterstütztes Umgebungsvariablenformat example.config.with-dash.withUppercase zu konvertieren.

  1. Ersetzen Sie Großbuchstaben durch eine 1 und einen Kleinbuchstaben des Buchstabens. Beispielsweise wird example.config.with-dash.withUppercase zu example.config.with-dash.with1uppercase.

  2. Ersetzen Sie Bindestriche (-) durch 0. Zum Beispiel wird example.config.with-dash.with1uppercase example.config.with0dash.with1uppercase

  3. Ersetzt Punkte (.) durch Unterstriche (_). Beispielsweise wird example.config.with0dash.with1uppercase zu example_config_with0dash_with1uppercase.

  4. Ersetze alle Kleinbuchstaben durch Großbuchstaben.

  5. Fügen Sie dem Variablennamen LIVY_ das Präfix hinzu.

  6. Verwenden Sie die Variable bei der Installation von Livy über das Helmchart im Format --set env. YOUR_VARIABLE_NAME .value= dein Wert

Um beispielsweise die Livy- und Spark-Konfigurationen festzulegen und diese Helm-Eigenschaften zu verwenden: livy.server.recovery.state-store = filesystem spark.kubernetes.executor.podNamePrefix = my-prefix

—set env.LIVY_LIVY_SERVER_RECOVERY_STATE0STORE.value=filesystem
—set env.LIVY_SPARK_KUBERNETES_EXECUTOR_POD0NAME0PREFIX.value=myprefix