스튜디오 클래식 노트북의 Amazon EMR 클러스터 사용 - 아마존 SageMaker
지원되는 이미지 및 커널사용자 고유 이미지 가져오기

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

스튜디오 클래식 노트북의 Amazon EMR 클러스터 사용

이 섹션에서는 SageMaker Studio Classic 노트북에서 Amazon EMR 클러스터를 검색, 연결 또는 종료하는 방법에 대해 알아봅니다.

SageMaker Studio Classic에서 Amazon EMR 클러스터에 연결할 때 Kerberos, 경량 디렉터리 액세스 프로토콜 (LDAP) 을 사용하여 클러스터를 인증하거나 런타임 IAM 역할 인증을 사용할 수 있습니다. 인증 방법은 클러스터 구성에 따라 달라집니다. Access Apache Livy using a Network Load Balancer on a Kerberos-enabled Amazon EMR cluster 예를 참조하여 Kerberos를 사용하는 Amazon EMR 클러스터를 설정할 수 있습니다. 또는 aws-samples/ 리포지토리에서 Kerberos 또는 LDAP를 사용하는 CloudFormation 예제 템플릿을 볼 수도 있습니다. sagemaker-studio-emr GitHub

인증 방법에 따라 Amazon EMR 클러스터에 사용할 수 있는 연결 명령 목록을 Amazon EMR 클러스터에 연결 명령을 수동으로 입력합니다.에서 확인하여 Amazon EMR 클러스터에 연결할 수 있습니다.

스튜디오 클래식에서 Amazon EMR SageMaker 클러스터에 연결할 수 있도록 지원되는 이미지 및 커널

SageMaker Studio Classic은 다음 이미지 및 커널에서 Amazon EMR 클러스터에 연결할 수 있는 내장 지원을 제공합니다.

  • DataScience — 파이썬 3 커널

  • DataScience 2.0 — 파이썬 3 커널

  • DataScience 3.0 — 파이썬 3 커널

  • SparkAnalytics 1.0 — SparkMagic 및 PySpark 커널

  • SparkAnalytics 2.0 — SparkMagic 및 커널 PySpark

  • SparkMagic — SparkMagic 및 커널 PySpark

  • PyTorch 1.8 — 파이썬 3 커널

  • TensorFlow 2.6 — 파이썬 3 커널

  • TensorFlow 2.11 — 파이썬 3 커널

이러한 이미지와 커널에는 Apache Livy를 사용하여 SparkMagic라이브러리를 통해 원격 Spark (Amazon EMR) 클러스터에 연결할 수 있는 노트북 확장 프로그램이 함께 sagemaker-studio-analytics-extension제공됩니다.

다른 내장 이미지 또는 자체 이미지를 사용하여 Amazon EMR 클러스터에 연결하려면 사용자 고유 이미지 가져오기의 지침을 따릅니다.

사용자 고유 이미지 가져오기

SageMaker Studio Classic에서 자체 이미지를 가져와서 노트북이 Amazon EMR 클러스터에 연결되도록 하려면 커널에 sagemaker-studio-analytics-extension다음 확장 프로그램을 설치하십시오. 라이브러리를 통해 SageMaker 스튜디오 클래식 노트북을 Spark (Amazon EMR) 클러스터에 연결할 수 있습니다. SparkMagic 

pip install sparkmagic
pip install sagemaker-studio-sparkmagic-lib
pip install sagemaker-studio-analytics-extension

또한 Kerberos 인증을 사용하여 Amazon EMR에 연결하려면 kinit 클라이언트를 설치해야 합니다. OS에 따라 kinit 클라이언트를 설치하는 명령이 다를 수 있습니다. Ubuntu(Debian 기반) 이미지를 가져오려면 apt-get install -y -qq krb5-user 명령을 사용합니다.

SageMaker Studio Classic에서 자체 이미지를 가져오는 방법에 대한 자세한 내용은 자체 이미지 가져오기를 참조하십시오. SageMaker