SageMaker스튜디오 또는 스튜디오 클래식에서 Amazon EMR 클러스터에 연결

Studio 사용자는 기본값을 사용하여 JupyterLab 노트북에서 실행 중인 Amazon EMR 클러스터에 연결할 수 있습니다. SageMaker 배포 이미지 Studio Classic 사용자는 지원되는 커널을 사용하여 Studio Classic 노트북에서 클러스터에 연결할 수 있습니다.

스튜디오 UI를 사용하여 Amazon EMR 클러스터에 연결

Studio 또는 Studio Classic UI를 사용하여 클러스터에 연결하려면 에서 액세스하는 클러스터 목록 또는 Studio 또는 SageMaker Studio Classic의 노트북에서 연결을 시작할 수 있습니다. 스튜디오 또는 스튜디오 클래식의 Amazon EMR 클러스터 목록

클러스터 목록에서 특정 클러스터에 연결하는 방법

1. 목록에서 클러스터 이름을 선택합니다. 그러면 새 노트북에 연결 버튼이 활성화됩니다.

2. 새 노트북에 연결을 선택합니다. 그러면 이미지 및 커널 선택 상자가 열립니다.

3. 이미지와 커널을 선택한 다음 선택을 선택합니다. 지원되는 이미지 목록은 스튜디오 또는 스튜디오 클래식에서 Amazon EMR 클러스터에 연결할 수 있도록 지원되는 이미지 및 커널 또는 사용자 고유 이미지 가져오기를 참조하세요.

4. 선택한 클러스터에서 Kerberos, LDAP 또는 런타임 역할 인증을 사용하지 않는 경우 Studio 또는 Studio Classic은 자격 증명 유형을 선택하라는 메시지를 표시합니다. Http 기본 인증 또는 자격 증명 없음 중에서 선택한 다음 해당하는 경우 자격 증명을 입력합니다. 연결 명령은 노트북의 첫 번째 셀을 채우고 Amazon EMR 클러스터와의 연결을 시작합니다.

   연결에 성공하면 Spark 애플리케이션의 연결과 시작을 확인하는 메시지가 나타납니다.

또는 노트북에서 클러스터에 연결할 수도 있습니다.

1. 노트북 상단에서 클러스터를 선택합니다.

   클러스터는 스튜디오 또는 스튜디오 클래식에서 Amazon EMR 클러스터에 연결할 수 있도록 지원되는 이미지 및 커널 또는 사용자 고유 이미지 가져오기에서 커널을 사용할 때만 표시됩니다. 노트북 상단에 클러스터가 보이지 않는 경우 관리자가 클러스터 검색 가능성을 구성했는지 확인하고 지원되는 커널로 전환합니다.

   그러면 해당 상태에서 사용 가능한 클러스터 목록이 열립니다. Running

2. 연결할 클러스터를 선택한 다음 연결을 선택합니다.

3. 런타임 IAM 역할을 지원하도록 Amazon EMR 클러스터를 구성하고 관리자가 실행 역할 구성 JSON에 역할을 미리 로드한 경우 Amazon EMR 실행 역할 드롭다운 메뉴에서 Amazon EMR 액세스 역할을 선택할 수 있습니다. 역할이 미리 로드되지 않은 경우 스튜디오 또는 스튜디오 클래식에서는 기본적으로 스튜디오 또는 스튜디오 클래식 실행 역할을 사용합니다. Amazon EMR에서 런타임 역할을 사용하는 방법에 대한 자세한 내용은 런타임 IAM 역할을 사용하여 스튜디오 클래식에서 Amazon EMR 클러스터에 연결 섹션을 참조하세요. 클러스터에 연결하면 Studio 또는 Studio Classic에서 활성 셀에 코드 블록을 추가하여 연결을 설정합니다.

   그렇지 않으면 선택한 클러스터에서 Kerberos, LDAP 또는 런타임 역할 인증을 사용하지 않는 경우 Studio 또는 Studio Classic에서 자격 증명 유형을 선택하라는 메시지가 표시됩니다. HTTP 기본 인증 또는 자격 증명 없음을 선택할 수 있습니다.

4. 활성 셀이 채워지고 실행됩니다. 이 셀에는 Amazon EMR 클러스터에 연결하기 위한 연결 명령이 들어 있습니다.

   연결에 성공하면 Spark 애플리케이션의 연결과 시작을 확인하는 메시지가 나타납니다.

연결 명령을 사용하여 Amazon EMR 클러스터에 연결합니다.

Amazon EMR 클러스터에 연결하려면 노트북 셀 내에서 연결 명령을 실행할 수 있습니다.

연결을 설정할 때 Kerberos, 경량 디렉터리 액세스 프로토콜 (LDAP) 또는 런타임 IAM 역할 인증을 사용하여 인증할 수 있습니다. 선택하는 인증 방법은 클러스터 구성에 따라 달라집니다.

Kerberos 지원 Amazon EMR 클러스터에서 Network Load Balancer를 사용하여 Apache Livy에 액세스하는 예제를 참조하여 Kerberos 인증을 사용하는 Amazon EMR 클러스터를 설정할 수 있습니다. 또는 aws-samples/ 리포지토리에서 Kerberos 또는 LDAP 인증을 사용하여 CloudFormation 예제 템플릿을 탐색할 수도 있습니다. sagemaker-studio-emr GitHub

관리자가 계정 간 액세스를 활성화한 경우 Studio Classic 애플리케이션과 클러스터가 AWS 동일한 계정에 있는지 또는 다른 계정에 있는지 여부에 관계없이 Studio Classic 노트북에서 Amazon EMR 클러스터에 연결할 수 있습니다.

다음 각 인증 유형에 대해 지정된 명령을 사용하여 Studio 또는 Studio Classic 노트북에서 클러스터에 연결합니다.

• Kerberos

  교차 계정 Amazon EMR 액세스가 필요한 경우 --assumable-role-arn 인수를 추가하세요. HTTPS를 사용하여 클러스터에 연결하는 경우 --verify-certificate 인수를 추가하세요.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Kerberos --language python 
  [--assumable-role-arn EMR_access_role_ARN ] 
  [--verify-certificate /home/user/certificateKey.pem]

• LDAP

  교차 계정 Amazon EMR 액세스가 필요한 경우 --assumable-role-arn 인수를 추가하세요. HTTPS를 사용하여 클러스터에 연결하는 경우 --verify-certificate 인수를 추가하세요.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Basic_Access --language python 
  [--assumable-role-arn EMR_access_role_ARN ]
  [--verify-certificate /home/user/certificateKey.pem]

• NoAuth

  교차 계정 Amazon EMR 액세스가 필요한 경우 --assumable-role-arn 인수를 추가하세요. HTTPS를 사용하여 클러스터에 연결하는 경우 --verify-certificate 인수를 추가하세요.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type None --language python
  [--assumable-role-arn EMR_access_role_ARN ]
  [--verify-certificate /home/user/certificateKey.pem]

• 런타임 IAM 역할

  교차 계정 Amazon EMR 액세스가 필요한 경우 --assumable-role-arn 인수를 추가하세요. HTTPS를 사용하여 클러스터에 연결하는 경우 --verify-certificate 인수를 추가하세요.

  런타임 IAM 역할을 사용하여 Amazon EMR 클러스터에 연결하는 방법에 대한 자세한 내용은 런타임 IAM 역할을 사용하여 스튜디오 클래식에서 Amazon EMR 클러스터에 연결 섹션을 참조하세요.

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Basic_Access \
  --emr-execution-role-arn arn:aws:iam::studio_account_id:role/emr-execution-role-name
  [--assumable-role-arn EMR_access_role_ARN]
  [--verify-certificate /home/user/certificateKey.pem]

HTTPS를 통해 Amazon EMR 클러스터에 연결

전송 암호화를 활성화하고 Apache Livy 서버를 HTTPS용으로 구성한 상태에서 스튜디오 또는 스튜디오 클래식이 HTTPS를 사용하여 Amazon EMR과 통신하도록 하려면 스튜디오 또는 스튜디오 클래식이 인증서 키에 액세스하도록 구성해야 합니다.

자체 서명 또는 로컬 인증 기관(CA) 서명 인증서의 경우 다음 두 단계로 이를 수행할 수 있습니다.

1. 다음 옵션 중 하나를 사용하여 로컬 파일 시스템에 인증서의 PEM 파일을 다운로드합니다.

   • Jupyter에 내장된 파일 업로드 기능.

   • 노트북 셀.

   • (스튜디오 클래식 사용자 전용) 수명 주기 구성 (LCC) 스크립트.

     LCC 스크립트 사용 방법에 대한 자세한 내용은 수명 주기 구성 스크립트를 사용한 노트북 인스턴스 사용자 지정을 참조하세요.

2. 연결 명령의 --verify-certificate 인수에 인증서 경로를 제공하여 인증서의 검증을 활성화하세요.

   %sm_analytics emr connect --cluster-id cluster_id \
   --verify-certificate /home/user/certificateKey.pem ... 

퍼블릭 CA에서 발급한 인증서의 경우 --verify-certificate 파라미터를 true로 설정하여 인증서 검증을 설정합니다.

또는 --verify-certificate 매개변수를 false로 설정하여 인증서 검증을 비활성화할 수 있습니다.

Amazon EMR 클러스터에 사용할 수 있는 연결 명령 목록은 연결 명령을 사용하여 Amazon EMR 클러스터에 연결합니다.에서 확인할 수 있습니다.