仮想クラスターのインタラクティブエンドポイントを作成する

このページでは、 AWS コマンドラインインターフェイス () を使用してインタラクティブエンドポイントを作成する方法について説明しますAWS CLI。

create-managed-endpoint コマンドでインタラクティブエンドポイントを作成する

次のように create-managed-endpoint コマンドでパラメータを指定します。EKS での Amazon EMR は、Amazon EMR リリース 6.7.0 以降でのインタラクティブエンドポイントの作成をサポートしています。

aws emr-containers create-managed-endpoint \
‐‐type JUPYTER_ENTERPRISE_GATEWAY \
‐‐virtual‐cluster‐id 1234567890abcdef0xxxxxxxx \
‐‐name example-endpoint-name \
‐‐execution-role-arn arn:aws:iam::444455556666:role/JobExecutionRole \
‐‐release-label emr-6.9.0-latest \
‐‐configuration-overrides '{
    "applicationConfiguration": [{
        "classification": "spark-defaults",
        "properties": {
            "spark.driver.memory": "2G"
        }
    }],
    "monitoringConfiguration": {
        "cloudWatchMonitoringConfiguration": {
            "logGroupName": "log_group_name",
            "logStreamNamePrefix": "log_stream_prefix"
        },
        "persistentAppUI": "ENABLED",
        "s3MonitoringConfiguration": {
            "logUri": "s3://my_s3_log_location"
        }
    }
}'

詳細については、「インタラクティブエンドポイントを作成するためのパラメータ」を参照してください。

JSON ファイルで指定されたパラメータを使用してインタラクティブエンドポイントを作成する

1. create-managed-endpoint-request.json ファイルを作成し、次の JSON ファイルに示すように、エンドポイントに必要なパラメータを指定します。

   {
       "name": "MY_TEST_ENDPOINT",
       "virtualClusterId": "MY_CLUSTER_ID",
       "type": "JUPYTER_ENTERPRISE_GATEWAY",
       "releaseLabel": "emr-6.9.0-latest",
       "executionRoleArn": "arn:aws:iam::444455556666:role/JobExecutionRole",
       "configurationOverrides":
       {
           "applicationConfiguration": 
           [
               {
                   "classification": "spark-defaults",
                   "properties":
                   {
                       "spark.driver.memory": "8G"
                   }
               }
           ],
           "monitoringConfiguration":
           {
               "persistentAppUI": "ENABLED",
               "cloudWatchMonitoringConfiguration":
               {
                   "logGroupName": "my_log_group",
                   "logStreamNamePrefix": "log_stream_prefix"
               },
               "s3MonitoringConfiguration":
               {
                   "logUri": "s3://my_s3_log_location"
               }
           }
       }
   }

2. ローカルまたは Amazon S3 に保存されている create-managed-endpoint-request.json ファイルへのパスを指定して、create-managed-endpoint コマンドを使用します。

   aws emr-containers create-managed-endpoint \
   ‐‐cli-input-json  file://./create-managed-endpoint-request.json ‐‐region AWS-Region

インタラクティブエンドポイントの作成の出力

ターミナルで、次の出力が表示されます。出力には、新しいインタラクティブエンドポイントの名前と ID が含まれます。

{
    "id": "1234567890abcdef0",
    "name": "example-endpoint-name", 
    "arn": "arn:aws:emr-containers:us-west-2:111122223333:/virtualclusters/444455556666/endpoints/444455556666",
    "virtualClusterId": "111122223333xxxxxxxx"
}

aws emr-containers create-managed-endpoint を実行すると、EMR Studio とインタラクティブエンドポイントサーバー間の HTTPS 通信を可能にする自己署名証明書が作成されます。

create-managed-endpoint を実行しても前提条件を満たしていない場合、Amazon EMR は続行するために必要なアクションを含むエラーメッセージを返します。

インタラクティブエンドポイントを作成するためのパラメータ

インタラクティブエンドポイントの必須パラメータ

インタラクティブエンドポイントを作成するときに次のパラメータを指定する必要があります。

‐‐type

JUPYTER_ENTERPRISE_GATEWAY を使用します。これはサポートされている唯一のタイプです。

‐‐virtual-cluster-id

EKS での Amazon EMR に登録した仮想クラスターの ID。

‐‐name

EMR Studio ユーザーがドロップダウンリストから選択しやすいようにする、インタラクティブエンドポイントのわかりやすい名前。

‐‐execution-role-arn

前提条件の一部として作成された EKS での Amazon EMR の IAM ジョブ実行 IAM ロールの Amazon リソースネーム (ARN)。

‐‐release-label

エンドポイントに使用する Amazon EMR リリースのリリースラベル。例えば emr-6.9.0-latest です。EKS での Amazon EMR は、Amazon EMR リリース 6.7.0 以降でインタラクティブエンドポイントをサポートしています。

インタラクティブエンドポイントの任意指定のパラメータ

インタラクティブエンドポイントを作成するときに、オプションで以下を指定することもできます。

‐‐configuration-overrides

アプリケーションのデフォルト設定を上書きするには、設定オブジェクトを指定します。短縮構文を使用して、設定を指定したり、JSON ファイルの設定オブジェクトを参照したりできます。

設定オブジェクトは、分類、プロパティ、オプションの入れ子になっている設定で構成されます。プロパティは、そのファイル内で上書きする設定で構成されます。単一の JSON オブジェクトで、複数のアプリケーションに複数の分類を指定できます。EKS での Amazon EMR リリースによって使用可能な設定分類は異なります。EKS での Amazon EMR の各リリースで使用可能な設定分類の一覧については、「Amazon EMR on EKS リリース」を参照してください。各リリースにリストされている設定分類に加えて、インタラクティブエンドポイントには追加の分類 jeg-config が組み込まれています。詳細については、「Jupyter エンタープライズゲートウェイ (JEG) 設定オプション」を参照してください。