JupyterHub 구성 - Amazon EMR

JupyterHub 구성

클러스터 프라이머리 노드에 연결하고 구성 파일을 편집하면 Amazon EMR에 있는 JupyterHub 및 개별 사용자 노트북의 구성을 사용자 지정할 수 있습니다. 값을 변경한 후에는 jupyterhub 컨테이너를 다시 시작하십시오.

다음 파일의 속성을 수정하여 JupyterHub 및 개별 Jupyter Notebook을 구성합니다.

  • jupyterhub_config.py - 기본적으로 이 파일은 프라이머리 노드의 /etc/jupyter/conf/ 디렉터리에 저장됩니다. 자세한 내용은 JupyterHub 설명서에서 Configuration basics를 참조하세요.

  • jupyter_notebook_config.py - 이 파일은 기본적으로 /etc/jupyter/ 디렉터리에 저장되며 jupyterhub 컨테이너에 기본값으로 복사됩니다. 자세한 내용은 Jupyter Notebook 설명서의 Config file and command line options를 참조하십시오.

jupyter-sparkmagic-conf 구성 분류를 사용하여 Sparkmagic을 사용자 지정할 수도 있습니다. 그러면 Sparkmagic에 맞게 config.json 파일의 값이 업데이트됩니다. 사용 가능한 설정에 대한 자세한 내용은 GitHub의 example_config.json을 참조하십시오. Amazon EMR에서 애플리케이션과 함께 구성 분류를 사용하는 방법에 대한 자세한 내용은 애플리케이션 구성 섹션을 참조하세요.

다음은 Sparkmagic 구성 분류 설정용 파일 MyJupyterConfig.json을 참조하여 AWS CLI를 통해 클러스터를 실행하는 예제입니다.

참고

2.x 및 3.x AMI 버전 Linux 명령에 사용하거나 제외할 수 있습니다. Windows에서는 제외시키거나 캐럿(^)으로 바꿉니다.

aws emr create-cluster --use-default-roles --release-label emr-5.14.0 \
--applications Name=Jupyter --instance-type m4.xlarge --instance-count 3 \
--ec2-attributes KeyName=MyKey,SubnetId=subnet-1234a5b6 --configurations file://MyJupyterConfig.json

MyJupyterConfig.json의 샘플 콘텐츠는 다음과 같습니다.

[
    {
    "Classification":"jupyter-sparkmagic-conf",
    "Properties": {
      "kernel_python_credentials" : "{\"username\":\"diego\",\"base64_password\":\"mypass\",\"url\":\"http:\/\/localhost:8998\",\"auth\":\"None\"}"
      }
    }
]
참고

Amazon EMR 버전 5.21.0 이상에서는 클러스터 구성을 재정의할 수 있으며, 실행 중인 클러스터의 각 인스턴스 그룹에 대해 추가 구성 분류를 지정할 수 있습니다. Amazon EMR 콘솔, AWS Command Line Interface(AWS CLI) 또는 AWS SDK를 사용하여 이 작업을 수행할 수 있습니다. 자세한 내용은 실행 중 클러스터의 인스턴스 그룹에 대해 구성 제공을 참조하십시오.