EMR노트북으로 작업하기 - 아마존 EMR
노트북 상태 이해노트북 편집기 작업클러스터 변경노트북 및 노트북 파일 삭제노트북 파일 공유

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

EMR노트북으로 작업하기

참고

EMR노트북은 콘솔에서 EMR Studio 작업 공간으로 사용할 수 있습니다. 콘솔의 워크스페이스 만들기 버튼을 사용하여 새 노트북을 만들 수 있습니다. 워크스페이스에 액세스하거나 워크스페이스를 만들려면 EMR Notebooks 사용자에게 추가 IAM 역할 권한이 필요합니다. 자세한 내용은 Amazon EMR 노트북은 콘솔 및 Amazon 콘솔의 Amazon EMR 스튜디오 워크스페이스임을 참조하십시오. EMR

EMR노트북을 생성한 후 노트북을 시작하는 데 시간이 조금 걸립니다. 노트북 목록의 상태가 시작 중으로 표시됩니다. 준비 상태가 되면 노트북을 열 수 있습니다. 노트북과 함께 클러스터를 생성한 경우 노트북이 준비 상태가 되려면 시간이 좀 더 걸릴 수 있습니다.

작은 정보

브라우저를 새로 고치거나 노트북 목록 위쪽의 새로 고침 아이콘을 선택하여 노트북 상태를 새로 고치십시오.

노트북 상태 이해

EMR노트북 목록의 상태에 대해 노트북의 상태를 다음과 같이 표시할 수 있습니다.

상태 표시기 의미

준비됨

노트북 편집기를 사용하여 노트북을 열 수 있습니다. 노트북이 준비 상태이면 노트북을 중지하거나 삭제할 수 있습니다. 클러스터를 변경하려면 먼저 노트북을 중지해야 합니다. 준비 상태의 노트북이 장기간 유휴 상태일 경우 자동으로 중지됩니다.

Starting(시작 중)

노트북이 생성되어 클러스터에 연결되는 중입니다. 노트북이 시작 중일 때는 노트북 편집기를 열거나 중지하거나 삭제하거나 클러스터를 변경할 수 없습니다.

보류중

노트북이 생성되어 클러스터와의 상호 작용이 완료되기를 기다리고 있습니다. 클러스터가 리소스를 프로비저닝하거나 다른 요청에 응답하고 있을 수 있습니다. 노트북이 로컬 모드인 상태에서 노트북 편집기를 열 수 있습니다. 클러스터 프로세스를 사용하는 모든 코드가 실행되지 않으며 실패합니다.

Stopping

노트북이 종료되고 있거나 노트북이 연결된 클러스터가 종료되고 있습니다. 노트북이 중지 중일 때는 노트북 편집기를 열거나 중지하거나 삭제하거나 클러스터를 변경할 수 없습니다.

Stopped

노트북이 종료되었습니다. 클러스터가 여전히 실행 중일 때는 같은 클러스터에서 노트북을 시작할 수 없습니다. 클러스터를 변경하고 삭제할 수 있습니다.

[삭제 중]

사용 가능한 클러스터 목록에서 클러스터가 제거되는 중입니다. 노트북 파일(NotebookName.ipynb )이 Amazon S3에 남아 있고 해당 스토리지 요금이 계속 발생합니다.

노트북 편집기 작업

노트북을 사용할 때의 장점은 EMR 노트북을 Jupyter에서 실행하거나 콘솔에서 JupyterLab 직접 실행할 수 있다는 것입니다.

EMR노트북의 경우 Amazon EMR 콘솔에서 액세스하는 노트북 편집기는 친숙한 오픈 소스 Jupyter Notebook 편집기 또는 입니다. JupyterLab 노트북 편집기는 Amazon EMR 콘솔 내에서 실행되므로 Amazon EMR 클러스터에서 호스팅되는 노트북을 사용할 때보다 액세스를 구성하는 것이 더 효율적입니다. 웹 액세스SSH, 보안 그룹 규칙 및 프록시 구성을 허용하도록 사용자 클라이언트를 구성할 필요가 없습니다. 충분한 권한이 있는 사용자는 Amazon EMR 콘솔에서 노트북 편집기를 열기만 하면 됩니다.

Amazon 내에서는 한 번에 한 명의 사용자만 EMR 노트북을 열 수 EMR 있습니다. 다른 사용자가 이미 열려 있는 EMR 노트북을 열려고 하면 오류가 발생합니다.

중요

EMRAmazon은 각 노트북 편집기 세션마다 고유한 사전 서명된 URL 문서를 생성하며, 이 기간은 짧은 기간 동안만 유효합니다. 노트북 URL 편집기는 공유하지 않는 것이 좋습니다. 이렇게 하면 수신자가 노트북을 편집하고 노트북 코드를 실행할 수 있는 권한을 평생 URL 채택하기 때문에 보안 위험이 발생합니다. URL 다른 사람이 노트북에 액세스해야 하는 경우 권한 정책을 통해 해당 사용자에게 권한을 제공하고 EMR Notebooks의 서비스 역할이 Amazon S3 위치에 액세스할 수 있도록 하십시오. 자세한 내용은 EMR노트북 보안 및 액세스 제어 및 EMR노트북의 서비스 역할 단원을 참조하세요.

노트북용 노트북 편집기를 열려면 EMR

  1. 상태가 준비 상태이거나 대기 중인 노트북을 노트북 목록에서 선택합니다.

  2. [열기] JupyterLab 또는 [Jupyter에서 열기] 를 선택합니다.

    JupyterLab 또는 Jupyter Notebook 편집기에 새 브라우저 탭이 열립니다.

  3. 커널 메뉴에서 Change kernel(커널 변경)을 선택한 후 프로그래밍 언어에 맞는 커널을 선택합니다.

    이제 노트북 편집기에서 코드를 작성하고 실행할 수 있습니다.

노트북 콘텐츠 저장

노트북 편집기에서 작업할 때 노트북 셀 및 출력의 내용이 주기적으로 Amazon S3의 노트북 파일에 자동 저장됩니다. 마지막으로 셀을 편집한 후 변경되지 않은 노트북은 편집기에서 노트북 이름 옆에 (autosaved)(자동 저장)가 표시됩니다. 변경 사항이 아직 저장되지 않았으면 저장되지 않은 변경 사항이 나타납니다.

노트북을 수동으로 저장할 수 있습니다. 파일 메뉴에서 [Save and Checkpoint] 를 선택하거나 CTRL +S를 누릅니다. 그러면 Amazon S3의 노트북 폴더 내 체크포인트 NotebookName.ipynb 폴더에 이름이 지정된 파일이 생성됩니다. 예: s3://MyBucket/MyNotebookFolder/NotebookID/checkpoints/NotebookName.ipynb. 최신 체크포인트 파일만 이 위치에 저장됩니다.

클러스터 변경

EMR노트북 자체의 내용을 변경하지 않고도 노트북이 연결된 클러스터를 변경할 수 있습니다. 중지됨 상태의 노트북만 클러스터를 변경할 수 있습니다.

EMR노트북의 클러스터를 변경하려면

  1. 변경할 노트북이 실행 중이면 노트북 목록에서 해당 노트북을 선택한 후 중지를 선택합니다.

  2. 노트북 상태가 중지됨이면 노트북 목록에서 노트북을 선택한 후 세부 정보 보기를 선택합니다.

  3. Change cluster(클러스터 변경)를 변경합니다.

  4. 노트북을 연결할 활성 클러스터에서 하둡, Spark 및 Livy를 실행 중인 경우 기본값을 그대로 두고 목록에서 클러스터를 선택합니다. 요구 사항에 맞는 클러스터만 나열됩니다.

    - 또는 -

    Create a cluster(클러스터 생성)를 선택한 후 클러스터 옵션을 선택합니다. 자세한 내용은 클러스터 요구 사항 단원을 참조하십시오.

  5. 보안 그룹의 옵션을 선택한 후 Change cluster and start notebook(클러스터 변경 및 노트북 시작)을 선택합니다.

노트북 및 노트북 파일 삭제

Amazon EMR 콘솔을 사용하여 EMR 노트북을 삭제하면 사용 가능한 노트북 목록에서 노트북이 삭제됩니다. 하지만 노트북 파일은 Amazon S3에 남아 있고 스토리지 요금이 계속 발생합니다.

노트북을 삭제하고 연결된 파일을 제거하려면

  1. 에서 Amazon EMR 콘솔을 엽니다 https://console.aws.amazon.com/elasticmapreduce/.

  2. 노트북을 선택하고 목록에서 노트북을 선택한 후 세부 정보 보기를 선택합니다.

  3. 노트북 위치 옆의 폴더 아이콘을 선택하고 패턴에 URL있는 아이콘을 s3://MyNotebookLocationPath/NotebookID/ 복사합니다.

  4. Delete(삭제)를 선택합니다.

    목록에서 노트북이 제거되고 노트북 세부 정보가 더 이상 보이지 않습니다.

  5. Amazon Simple Storage Service 사용 설명서에서 S3 버킷에서 폴더를 삭제하려면 어떻게 해야 하나요?의 지침을 따릅니다. 3단계의 버킷과 폴더로 이동합니다.

    - 또는 -

    AWS CLI 설치되어 있는 경우 명령 프롬프트를 열고 이 단락 끝에 명령을 입력합니다. Amazon S3 위치를 위에서 복사한 위치로 바꿉니다. Amazon S3 위치를 삭제할 권한이 있는 사용자의 액세스 키로 AWS CLI 이 구성되어 있는지 확인하십시오. 자세한 내용은 AWS Command Line Interface 사용 설명서의 AWS CLI구성을 참조하세요.

    aws s3 rm s3://MyNotebookLocationPath/NotebookID

노트북 파일 공유

각 EMR 노트북은 이름이 지정된 파일로 Amazon S3에 저장됩니다NotebookName.ipynb. 노트북 파일이 Notebooks의 기반이 되는 Jupyter EMR Notebook과 동일한 버전의 Jupyter Notebook과 호환되는 한 노트북을 노트북으로 열 수 있습니다. EMR

다른 사용자의 노트북 파일을 여는 가장 쉬운 방법은 다른 사용자의 *.ipynb 파일을 로컬 파일 시스템에 저장한 다음 Jupyter 및 편집기의 업로드 기능을 사용하는 것입니다. JupyterLab

이 프로세스를 사용하여 다른 사람이 공유한 EMR 노트북, Jupyter 커뮤니티에서 공유한 노트북을 사용하거나, 노트북 파일이 남아 있는 경우 콘솔에서 삭제된 노트북을 복원할 수 있습니다.

다른 노트북 파일을 노트북의 기반으로 사용하는 방법 EMR

  1. 계속하기 전에 작업할 노트북의 노트북 편집기를 닫고 노트북인 경우 해당 노트북을 중지하십시오. EMR

  2. EMR노트북을 만들고 이름을 입력합니다. 노트북에 대해 입력한 이름은 바꿀 파일의 이름이 됩니다. 새 파일 이름은 이 파일 이름과 정확히 일치해야 합니다.

  3. 노트북에 대해 선택한 Amazon S3의 위치를 적어 둡니다. 바꾼 파일은 s3://MyNotebookLocation/NotebookID/MyNotebookName.ipynb 패턴과 같이 경로와 파일 이름을 가진 폴더에 있습니다.

  4. 노트북을 중지합니다.

  5. Amazon S3 위치에 있는 이전 노트북 파일을 새 노트북 파일로 바꿉니다. 이때 똑같은 이름을 사용해야 합니다.

    Amazon S3의 다음 AWS CLI 명령은 SharedNotebook.ipynb EMR 노트북용으로 호출되는 로컬 시스템에 저장된 파일을 Amazon S3에서 MyBucket/MyNotebooksFolder 지정한 이름 MyNotebooke-12A3BCDEFJHIJKLMNO45PQRST, ID 및 생성된 파일로 대체합니다. Amazon S3 콘솔을 사용하는 파일 복사 및 대치에 대한 자세한 내용은 Amazon Simple Storage Service 사용 설명서에서 객체 업로드, 다운로드 및 관리를 참조하세요.

    aws s3 cp SharedNotebook.ipynb s3://MyBucket/MyNotebooksFolder/-12A3BCDEFJHIJKLMNO45PQRST/MyNotebook.ipynb