JupyterHub
Jupyter Notebook
Sparkmagic은 Jupyter Notebook이 Spark용 REST 서버인 Apache Livy를 통해 Amazon EMR에서 실행되는 Apache Spark
다음 다이어그램은 노트북 사용자 및 관리자용 해당 인증 방법을 사용하여 Amazon EMR에 있는 JupyterHub의 구성 요소를 보여줍니다. 자세한 내용은 Jupyter Notebook 사용자 및 관리자 추가 섹션을 참조하세요.
다음 테이블에는 Amazon EMR이 JupyterHub를 통해 설치하는 구성 요소와 함께 Amazon EMR 6.x 시리즈의 최신 릴리스에 포함된 JupyterHub의 버전이 나열되어 있습니다.
이 릴리스에서 JupyterHub와 함께 설치된 구성 요소의 버전은 릴리스 6.14.0 구성 요소 버전을 참조하세요.
emr-6.14.0용 JupyterHub 버전 정보 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Amazon EMR 릴리스 레이블 | JupyterHub 버전 | JupyterHub와 함께 설치된 구성 요소 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-6.14.0 |
JupyterHub 1.5.0 |
aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
다음 테이블에는 Amazon EMR이 JupyterHub를 통해 설치하는 구성 요소와 함께 Amazon EMR 5.x 시리즈의 최신 릴리스에 포함된 JupyterHub의 버전이 나열되어 있습니다.
이 릴리스에서 JupyterHub와 함께 설치된 구성 요소의 버전은 릴리스 6.14.0 구성 요소 버전을 참조하세요.
emr-5.36.1용 JupyterHub 버전 정보 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Amazon EMR 릴리스 레이블 | JupyterHub 버전 | JupyterHub와 함께 설치된 구성 요소 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-5.36.1 |
JupyterHub 1.4.1 |
aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Amazon EMR의 JupyterHub에 포함되어 있는 Python 3 커널은 3.6.4입니다.
jupyterhub 컨테이너 내에 설치되어 있는 라이브러리는 Amazon EMR 릴리스 버전 및 Amazon EC2 AMI 버전 간에 다를 수 있습니다.
conda를 사용하여 설치된 라이브러리를 나열하려면
마스터 노드 명령줄에서 다음 명령을 실행합니다.
sudo docker exec jupyterhub bash -c "conda list"
pip를 사용하여 설치된 라이브러리를 나열하려면
마스터 노드 명령줄에서 다음 명령을 실행합니다.
sudo docker exec jupyterhub bash -c "pip freeze"
주제
