문제 해결 - Amazon EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

문제 해결

Livy를 설치하는 동안 자체 Livy 및 Spark 구성 입력하기

Helm 속성을 사용하여 모든 아파치 Livy 또는 Apache Spark 환경 변수를 구성할 수 있습니다. env.* 아래 단계에 따라 예제 구성을 example.config.with-dash.withUppercase 지원되는 환경 변수 형식으로 변환하십시오.

  1. 대문자를 1과 소문자로 바꾸십시오. 예를 들어, example.config.with-dash.withUppercase는 example.config.with-dash.with1uppercase가 됩니다.

  2. 대시 (-) 를 0으로 바꿉니다. 예를 들어, example.config.with-dash.with1uppercase example.config.with0dash.with1uppercase

  3. 점 (.) 을 밑줄 (_) 로 바꿉니다. 예를 들어, example.config.with0dash.with1uppercase는 example_config_with0dash_with1uppercase가 됩니다.

  4. 모든 소문자를 대문자로 바꿉니다.

  5. 변수 이름에 LIVY_ 접두사를 추가합니다.

  6. --set env 형식을 사용하여 헬름 차트를 통해 Livy를 설치하는 동안 변수를 사용하세요. YOUR_VARIABLE_NAME .value= 사용자 값

예를 들어, Livy와 Spark 구성을 설정하고 다음과 같은 헬름 속성을 사용하세요. livy.server.recovery.state-store = filesystem spark.kubernetes.executor.podNamePrefix = my-prefix 

—set env.LIVY_LIVY_SERVER_RECOVERY_STATE0STORE.value=filesystem
—set env.LIVY_SPARK_KUBERNETES_EXECUTOR_POD0NAME0PREFIX.value=myprefix