를 사용하여 클러스터 생성 JupyterHub

AWS Management Console AWS Command Line Interface, 또는 Amazon 를 JupyterHub 사용하여 EMR 를 사용하여 Amazon EMR 클러스터를 생성할 수 있습니다API. 단계 완료 후 자동으로 종료되는 옵션( AWS CLI의 --auto-terminate 옵션)을 사용하여 클러스터가 생성되지 않도록 해야 합니다. 또한, 관리자 및 노트북 사용자가 클러스터 생성 시 사용된 키 쌍에 액세스할 수 있어야 합니다. 자세한 내용은 Amazon EMR 관리 안내서의 SSH 보안 인증에 키 페어 사용을 참조하세요.

콘솔을 JupyterHub 사용하여 를 사용하여 클러스터 생성

다음 절차에 따라 Amazon EMR 콘솔에서 고급 옵션을 사용하여 가 JupyterHub 설치된 클러스터를 생성합니다.

Amazon EMR 콘솔을 사용하여 가 JupyterHub 설치된 Amazon EMR 클러스터를 생성하려면

1. 새 Amazon EMR 콘솔로 이동하여 측면 탐색에서 이전 콘솔로 전환을 선택합니다. 이전 콘솔로 전환할 때 예상되는 사항에 대한 자세한 내용은 이전 콘솔 사용을 참조하세요.

2. 클러스터 생성 및 Go to advanced options(고급 옵션으로 이동)를 선택합니다.

3. 소프트웨어 구성에서 다음을 수행합니다.

   • 릴리스 에서 emr-5.36.2를 선택하고 를 선택합니다 JupyterHub.

   • Spark를 사용하는 경우 AWS Glue 데이터 카탈로그를 Spark 의 메타스토어로 사용하려면 Spark 테이블 메타데이터에 사용을 SQL선택합니다. 자세한 내용은 AWS Glue 데이터 카탈로그를 Spark의 메타스토어로 사용 SQL 단원을 참조하십시오.

   • 소프트웨어 설정 편집에서 구성 입력 및 값 지정을 선택하거나 S3JSON에서 로드 및 JSON 구성 파일을 지정합니다. 자세한 내용은 구성 JupyterHub 단원을 참조하십시오.

4. 단계 추가(선택 사항)에서 클러스터가 생성될 때 실행할 단계를 구성하고, 마지막 단계가 완료된 후 클러스터 자동 종료가 선택되어 있지 않은 상태에서 다음을 선택합니다.

5. 하드웨어 구성 옵션을 선택하고 다음을 선택합니다. 자세한 내용은 Amazon EMR 관리 안내서의 클러스터 하드웨어 및 네트워킹 구성을 참조하세요.

6. 일반 클러스터 설정에 대한 옵션을 선택하고 다음을 선택합니다.

7. 키 쌍을 지정한 상태로 보안 옵션을 선택하고 클러스터 생성을 선택합니다.

를 JupyterHub 사용하여 를 사용하여 클러스터 생성 AWS CLI

를 사용하여 클러스터를 시작하려면 aws emr create-cluster 명령을 JupyterHub사용하고 --applications 옵션에 를 지정합니다Name=JupyterHub. 다음 예제에서는 두 개의 EC2 인스턴스(마스터 인스턴스 하나 JupyterHub와 코어 인스턴스 하나)를 EMR 사용하여 Amazon에서 클러스터를 시작합니다. 또한 디버깅이 활성화되어 있으며 로그는 --log-uri에 의해 지정된 대로 Amazon S3 위치에 저장됩니다. 지정된 키 페어는 클러스터의 Amazon EC2 인스턴스에 대한 액세스를 제공합니다.

참고

가독성을 위해 Linux 줄 연속 문자(\)가 포함됩니다. Linux 명령에 사용하거나 제외할 수 있습니다. Windows에서는 제외시키거나 캐럿(^)으로 바꿉니다.

aws emr create-cluster --name="MyJupyterHubCluster" --release-label emr-5.36.2 \
--applications Name=JupyterHub --log-uri s3://amzn-s3-demo-bucket/MyJupyterClusterLogs \
--use-default-roles --instance-type m5.xlarge --instance-count 2 --ec2-attributes KeyName=MyKeyPair