를 사용하여 클러스터를 생성합니다. JupyterHub

AWS Management Console AWS Command Line Interface, 또는 JupyterHub Amazon을 사용하여 Amazon EMR 클러스터를 생성할 수 EMR API 있습니다. 단계 완료 후 자동으로 종료되는 옵션( AWS CLI의 --auto-terminate 옵션)을 사용하여 클러스터가 생성되지 않도록 해야 합니다. 또한, 관리자 및 노트북 사용자가 클러스터 생성 시 사용된 키 쌍에 액세스할 수 있어야 합니다. 자세한 내용은 Amazon EMR 관리 가이드의 SSH 자격 증명에 키 페어 사용을 참조하십시오.

콘솔을 JupyterHub 사용하여 클러스터를 생성합니다.

Amazon EMR 콘솔에서 고급 옵션을 사용하여 JupyterHub 설치된 클러스터를 생성하려면 다음 절차를 사용하십시오.

Amazon EMR 콘솔을 사용하여 JupyterHub 설치된 Amazon EMR 클러스터를 만들려면

1. 새 Amazon EMR 콘솔로 이동한 다음 측면 탐색에서 이전 콘솔로 전환을 선택합니다. 이전 콘솔로 전환할 때 예상되는 사항에 대한 자세한 내용은 이전 콘솔 사용을 참조하세요.

2. 클러스터 생성 및 Go to advanced options(고급 옵션으로 이동)를 선택합니다.

3. 소프트웨어 구성에서 다음을 수행합니다.

   • 릴리스에서는 emr-5.36.2를 선택하고 선택합니다. JupyterHub

   • Spark를 사용하는 경우 AWS Glue 데이터 카탈로그를 Spark용 메타스토어로 사용하려면 Spark SQL 테이블 메타데이터에 사용을 선택합니다. 자세한 내용은 AWS Glue 데이터 카탈로그를 Spark의 메타스토어로 사용 SQL 단원을 참조하십시오.

   • 소프트웨어 설정 편집의 경우 구성 입력 및 값 지정을 선택하거나, JSONS3에서 로드를 선택하고 구성 파일을 지정합니다. JSON 자세한 내용은 구성 JupyterHub 단원을 참조하십시오.

4. 단계 추가(선택 사항)에서 클러스터가 생성될 때 실행할 단계를 구성하고, 마지막 단계가 완료된 후 클러스터 자동 종료가 선택되어 있지 않은 상태에서 다음을 선택합니다.

5. 하드웨어 구성 옵션을 선택하고 다음을 선택합니다. 자세한 내용은 Amazon EMR Management Guide의 클러스터 하드웨어 및 네트워킹 구성을 참조하십시오.

6. 일반 클러스터 설정에 대한 옵션을 선택하고 다음을 선택합니다.

7. 키 쌍을 지정한 상태로 보안 옵션을 선택하고 클러스터 생성을 선택합니다.

를 JupyterHub 사용하여 클러스터를 생성하십시오. AWS CLI

에서 클러스터를 시작하려면 aws emr create-cluster 명령을 사용하고 --applications 옵션에 대해 지정합니다Name=JupyterHub. JupyterHub 다음 예제는 Amazon에서 EC2 인스턴스 2개 (마스터 1개와 코어 인스턴스 1개) 가 EMR 있는 JupyterHub 클러스터를 시작합니다. 또한 디버깅이 활성화되어 있으며 로그는 --log-uri에 의해 지정된 대로 Amazon S3 위치에 저장됩니다. 지정된 키 페어는 클러스터의 Amazon EC2 인스턴스에 대한 액세스를 제공합니다.

참고

가독성을 위해 Linux 줄 연속 문자(\)가 포함됩니다. Linux 명령에 사용하거나 제외할 수 있습니다. Windows에서는 제외시키거나 캐럿(^)으로 바꿉니다.

aws emr create-cluster --name="MyJupyterHubCluster" --release-label emr-5.36.2 \
--applications Name=JupyterHub --log-uri s3://MyBucket/MyJupyterClusterLogs \
--use-default-roles --instance-type m5.xlarge --instance-count 2 --ec2-attributes KeyName=MyKeyPair