JupyterHub를 사용하여 클러스터 생성

AWS Management Console AWS Command Line Interface또는 Amazon EMR API를 사용하여 JupyterHub로 Amazon EMR 클러스터를 생성할 수 있습니다. 단계 완료 후 자동으로 종료되는 옵션( AWS CLI의 --auto-terminate 옵션)을 사용하여 클러스터가 생성되지 않도록 해야 합니다. 또한, 관리자 및 노트북 사용자가 클러스터 생성 시 사용된 키 쌍에 액세스할 수 있어야 합니다. 자세한 내용은 Amazon EMR 관리 안내서에서 SSH 보안 인증을 위해 키 페어 사용을 참조하세요.

콘솔을 사용하여 JupyterHub를 포함하는 클러스터 생성

다음 절차를 사용하면 Amazon EMR 콘솔의 고급 옵션을 사용하여 JupyterHub가 설치된 클러스터를 생성합니다.

Amazon EMR 콘솔을 사용하여 JupyterHub가 설치된 Amazon EMR 클러스터를 생성하는 방법

1. 새 Amazon EMR 콘솔로 이동하고 측면 탐색에서 이전 콘솔로 전환을 선택합니다. 이전 콘솔로 전환할 때 예상되는 사항에 대한 자세한 내용은 이전 콘솔 사용을 참조하세요.

2. 클러스터 생성 및 Go to advanced options(고급 옵션으로 이동)를 선택합니다.

3. 소프트웨어 구성에서 다음을 수행합니다.

   • 릴리스에서는 emr-5.36.2를 선택하고 JupyterHub를 선택합니다.

   • Spark를 사용하는 경우 AWS Glue 데이터 카탈로그를 Spark SQL의 메타스토어로 사용하려면 Spark 테이블 메타데이터에 사용을 선택합니다. 자세한 내용은 Amazon EMR에서 Spark와 함께 AWS Glue 데이터 카탈로그 사용 단원을 참조하십시오.

   • 소프트웨어 설정 편집에서 구성 입력을 선택하고 값을 지정하거나, S3에서 JSON 로드를 선택하고 JSON 구성 파일을 지정합니다. 자세한 내용은 JupyterHub 구성 단원을 참조하십시오.

4. 단계 추가(선택 사항)에서 클러스터가 생성될 때 실행할 단계를 구성하고, 마지막 단계가 완료된 후 클러스터 자동 종료가 선택되어 있지 않은 상태에서 다음을 선택합니다.

5. 하드웨어 구성 옵션을 선택하고 다음을 선택합니다. 자세한 내용은 Amazon EMR 관리 안내서에서 클러스터 하드웨어 및 네트워킹 구성을 참조하세요.

6. 일반 클러스터 설정에 대한 옵션을 선택하고 다음을 선택합니다.

7. 키 쌍을 지정한 상태로 보안 옵션을 선택하고 클러스터 생성을 선택합니다.

를 사용하여 JupyterHub로 클러스터 생성 AWS CLI

JupyterHub를 포함하는 클러스터를 시작하려면 aws emr create-cluster 명령을 사용하고 --applications 옵션에서 Name=JupyterHub를 지정합니다. 다음 예에서는 두 개의 EC2 인스턴스(마스터 하나와 코어 인스턴스 하나)를 사용하여 Amazon EMR에서 JupyterHub 클러스터를 실행합니다. 또한 디버깅이 활성화되어 있으며 로그는 --log-uri에 의해 지정된 대로 Amazon S3 위치에 저장됩니다. 지정된 키 페어는 클러스터에 있는 Amazon EC2 인스턴스에 액세스할 수 있는 권한만 부여합니다.

참고

가독성을 위해 Linux 줄 연속 문자(\)가 포함됩니다. Linux 명령에 사용하거나 제외할 수 있습니다. Windows에서는 제외시키거나 캐럿(^)으로 바꿉니다.

aws emr create-cluster --name="MyJupyterHubCluster" --release-label emr-5.36.2 \
--applications Name=JupyterHub --log-uri s3://amzn-s3-demo-bucket/MyJupyterClusterLogs \
--use-default-roles --instance-type m5.xlarge --instance-count 2 --ec2-attributes KeyName=MyKeyPair