Amazon EMR에서 Zeppelin 사용 시 고려 사항 - Amazon EMR

Amazon EMR에서 Zeppelin 사용 시 고려 사항

  • 마스터 노드의 다른 웹 서버에 연결하려면 동일한 SSH 터널링 메서드를 사용하여 Zeppelin에 연결합니다. Zeppelin 서버는 포트 8890에 있습니다.

  • Amazon EMR 릴리스 버전 5.0.0 이상에서 Zeppelin은 Shiro 인증을 지원합니다.

  • Amazon EMR 릴리스 버전 5.8.0 이상에서 Zeppelin은 AWS Glue 데이터 카탈로그를 Spark SQL용 메타스토어로 사용하는 기능을 지원합니다. 자세한 내용은 AWS Glue 데이터 카탈로그를 Spark SQL용 메타스토어로 사용을 참조하세요.

  • Zeppelin은 클러스터의 spark-defaults.conf 구성 파일에 정의된 일부 설정을 사용하지 않습니다. 이는 spark.dynamicAllocation.enabled를 true로 설정한 경우 YARN에게 실행기를 동적으로 할당하도록 지시한 경우에도 마찬가지입니다. Zeppelin Interpreter(Zeppelin 인터프리터) 탭을 사용하여 실행기 설정(예: 메모리 및 코어)을 설정한 후 인터프리터를 다시 시작해야 이 설정을 사용할 수 있습니다.

  • Amazon EMR 릴리스 6.10.0 이상에서는 Apache Flink와의 Apache Zeppelin 통합을 지원합니다. 자세한 정보는 Amazon EMR의 Zeppelin에서 Flink 작업 섹션을 참조하세요.

  • Amazon EMR에서 Zeppelin은 SparkR 인터프리터를 지원하지 않습니다.