SageMaker Studio または Studio Classic から Amazon EMRクラスターに接続する

データサイエンティストとデータエンジニアは、Studio ユーザーインターフェイスから直接 Amazon EMRクラスターを検出して接続できます。開始する前に、ステップ 4: Studio からの Amazon EMRクラスターの一覧表示と起動を有効にするアクセス許可を設定する「」セクションの説明に従って必要なアクセス許可が設定されていることを確認してください。これらのアクセス許可により、Studio はクラスターを作成、起動、表示、アクセス、終了できます。

Amazon EMRクラスターを Studio UI から直接新しい JupyterLab ノートブックに接続するか、実行中の JupyterLab アプリケーションのノートブックで接続を開始するかを選択できます。

重要

プライベートスペースから起動される および JupyterLab Studio Classic アプリケーションの Amazon EMRクラスターのみを検出して接続できます。Amazon EMRクラスターが同じ にあることを確認します。 AWS Studio 環境としての region。 JupyterLab スペースには、 SageMaker ディストリビューションイメージバージョン 1.10 以降を使用する必要があります。

Studio UI を使用して Amazon EMRクラスターに接続する

Studio または Studio Classic UI を使用してクラスターに接続するには、 でアクセスされたクラスターのリストからStudio または Studio Classic から Amazon EMRクラスターを一覧表示する、または SageMaker Studio または Studio Classic のノートブックから接続を開始できます。

Studio UI から Amazon EMRクラスターを新しい JupyterLab ノートブックに接続するには：

1. Studio UI の左側のパネルで、左側のナビゲーションメニューでデータノードを選択します。Amazon EMRアプリケーションとクラスター に移動します。これにより、Studio からアクセスできる Amazon EMRクラスターを一覧表示するページが Amazon EMRクラスタータブで開きます。

   注記

   Amazon EMRクラスターへのクロスアカウントアクセスを許可するアクセス許可をユーザーまたは管理者が設定している場合は、Studio へのアクセスを許可したすべてのアカウントのクラスターの統合リストを表示できます。

2. 新しいノートブックに接続する Amazon EMRクラスターを選択し、ノートブックにアタッチ を選択します。これにより、モーダルウィンドウが開き、 JupyterLab スペースのリストが表示されます。

3. • アプリケーションを起動 JupyterLabするスペースを選択し、ノートブックを開くを選択します。これにより、選択したスペースから JupyterLab アプリケーションが起動し、新しいノートブックが開きます。

     注記

     Studio Classic のユーザーは、イメージとカーネルを選択する必要があります。サポートされているイメージのリストについては、「Studio または Studio Classic から Amazon EMRクラスターに接続するためのサポートされているイメージとカーネル」または「独自のイメージを使用する」を参照してください。

   • または、モーダルウィンドウの上部にある新しいスペースの作成ボタンを選択して、新しいプライベートスペースを作成することもできます。スペースの名前を入力し、スペースの作成 を選択してノートブック を開きます。これにより、デフォルトのインスタンスタイプと利用可能な最新の SageMaker ディストリビューションイメージを使用してプライベートスペースが作成され、アプリケーションが JupyterLab起動され、新しいノートブックが開きます。

4. 選択したクラスターが Kerberos、、LDAPまたはランタイムロール認証を使用しない場合、Studio は認証情報タイプを選択するように求めます。[HTTP 基本認証] または [認証情報なし] を選択し、該当する場合は認証情報を入力します。

   選択したクラスターがランタイムロールをサポートしている場合は、Amazon EMRクラスターがジョブ実行のために引き受けることができるIAMロールの名前を選択します。

   重要

   ランタイムロールをサポートする Amazon EMRクラスターに JupyterLab ノートブックを正常に接続するには、「」で説明されているように、まずランタイムロールのリストをドメインまたはユーザープロファイルに関連付ける必要がありますStudio で Amazon EMRクラスターアクセスのIAMランタイムロールを設定する 。このステップを完了しないと、接続を確立できなくなります。

   選択すると、接続コマンドによってノートブックの最初のセルに入力され、Amazon EMRクラスターとの接続が開始されます。

   接続に成功すると、接続と Spark アプリケーションの起動を確認するメッセージが表示されます。

または、 JupyterLab または Studio Classic ノートブックからクラスターに接続することもできます。

1. ノートブックの上部にあるクラスターボタンを選択します。これにより、アクセスできるRunning状態の Amazon EMRクラスターを一覧表示するモーダルウィンドウが開きます。Running Amazon EMRクラスターは、Amazon EMRクラスタータブで確認できます。

   注記

   Studio Classic のユーザーの場合、クラスターは Studio または Studio Classic から Amazon EMRクラスターに接続するためのサポートされているイメージとカーネルまたは のカーネルを使用する場合にのみ表示されます独自のイメージを使用する。ノートブックの上部に [クラスター] が表示されない場合は、管理者がクラスターの検出可能性を設定していることを確認し、サポートされているカーネルに切り替えてください。

2. 接続するクラスターを選択し、[接続] を選択します。

3. ランタイムロール をサポートするように Amazon EMRクラスターを設定した場合は、Amazon EMR実行ロールのドロップダウンメニューからロールを選択できます。 IAM

   重要

   ランタイムロールをサポートする Amazon EMRクラスターに JupyterLab ノートブックを正常に接続するには、「」で説明されているように、まずランタイムロールのリストをドメインまたはユーザープロファイルに関連付ける必要がありますStudio で Amazon EMRクラスターアクセスのIAMランタイムロールを設定する 。このステップを完了しないと、接続を確立できなくなります。

   それ以外の場合、選択したクラスターが Kerberos、LDAP、またはランタイムロール認証を使用しない場合、Studio または Studio Classic は認証情報タイプを選択するように求めます。HTTP 基本認証 または認証情報なし を選択できます。

4. Studio は、アクティブなセルにコードブロックを追加して実行し、接続を確立します。このセルには、認証タイプに応じてノートブックをアプリケーションに接続するための接続マジックコマンドが含まれています。

   接続に成功すると、接続と Spark アプリケーションの起動を確認するメッセージが表示されます。

接続コマンドを使用して Amazon EMRクラスターに接続する

Amazon EMRクラスターへの接続を確立するには、ノートブックセル内で接続コマンドを実行します。

接続を確立するときは、Kerberos 、Lightweight Directory Access Protocol (LDAP）、またはランタイムIAMロール認証を使用して認証できます。選択する認証方法は、クラスターの設定によって異なります。

この例の Access Apache Livy は、Kerberos 対応 Amazon EMRクラスターの Network Load Balancer を使用して、Kerberos 認証を使用する Amazon EMRクラスターをセットアップします。または、aws-samples/sagemaker-studio-emr GitHub repository で Kerberos またはLDAP認証を使用して CloudFormation サンプルテンプレートを調べることもできます。

管理者がクロスアカウントアクセスを有効にしている場合、Studio Classic アプリケーションとEMRクラスターが同じ にあるかどうかにかかわらず、Studio Classic ノートブックから Amazon クラスターに接続できます。 AWS アカウントまたは別のアカウント。

次の認証タイプごとに、指定されたコマンドを使用して Studio または Studio Classic ノートブックからクラスターに接続します。

• Kerberos

  クロスアカウント Amazon EMR アクセスが必要な場合は、 --assumable-role-arn引数を追加します。を使用してクラスターに接続する場合は、 --verify-certificate引数を追加しますHTTPS。

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Kerberos --language python 
  [--assumable-role-arn EMR_access_role_ARN ] 
  [--verify-certificate /home/user/certificateKey.pem]

• LDAP

  クロスアカウント Amazon EMR アクセスが必要な場合は、 --assumable-role-arn引数を追加します。を使用してクラスターに接続する場合は、 --verify-certificate引数を追加しますHTTPS。

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Basic_Access --language python 
  [--assumable-role-arn EMR_access_role_ARN ]
  [--verify-certificate /home/user/certificateKey.pem]

• NoAuth

  クロスアカウント Amazon EMR アクセスが必要な場合は、 --assumable-role-arn引数を追加します。を使用してクラスターに接続する場合は、 --verify-certificate引数を追加しますHTTPS。

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type None --language python
  [--assumable-role-arn EMR_access_role_ARN ]
  [--verify-certificate /home/user/certificateKey.pem]

• ランタイムIAMロール

  クロスアカウント Amazon EMR アクセスが必要な場合は、 --assumable-role-arn引数を追加します。を使用してクラスターに接続する場合は、 --verify-certificate引数を追加しますHTTPS。

  ランタイムIAMロールを使用して Amazon EMRクラスターに接続する方法の詳細については、「」を参照してくださいStudio で Amazon EMRクラスターアクセスのIAMランタイムロールを設定する 。

  %load_ext sagemaker_studio_analytics_extension.magics
  %sm_analytics emr connect --cluster-id cluster_id \
  --auth-type Basic_Access \
  --emr-execution-role-arn arn:aws:iam::studio_account_id:role/emr-execution-role-name
  [--assumable-role-arn EMR_access_role_ARN]
  [--verify-certificate /home/user/certificateKey.pem]

経由で Amazon EMRクラスターに接続する HTTPS

のトランジット暗号化が有効で Apache Livy サーバーを使用して Amazon EMRクラスターを設定し、Studio または Studio Classic が EMRを使用して Amazon と通信HTTPSする場合はHTTPS、証明書キーにアクセスするように Studio または Studio Classic を設定する必要があります。

自己署名証明書またはローカル認証局 (CA) 署名証明書の場合、2 つのステップでこれを行うことができます。

1. 次のいずれかのオプションを使用して、証明書のPEMファイルをローカルファイルシステムにダウンロードします。

   • Jupyter に組み込まれているファイルアップロード機能。

   • ノートブックのセル。

   • (Studio Classic ユーザーのみ) ライフサイクル設定 (LCC) スクリプト。

     LCC スクリプトの使用方法については、「ライフサイクル設定スクリプトを使用してノートブックインスタンスをカスタマイズする」を参照してください。

2. 接続コマンドの --verify-certificate 引数に証明書へのパスを指定して、証明書の検証を有効にします。

   %sm_analytics emr connect --cluster-id cluster_id \
   --verify-certificate /home/user/certificateKey.pem ... 

パブリック CA が発行する証明書の場合は、--verify-certificate パラメータを true に設定して証明書の検証を設定します。

または、--verify-certificate パラメータを false に設定して証明書の検証を無効にすることもできます。

Amazon EMRクラスターで使用できる接続コマンドのリストは、 にあります接続コマンドを使用して Amazon EMRクラスターに接続する。