가상 클러스터의 대화형 엔드포인트 생성 - Amazon EMR
대화형 엔드포인트 생성사용자 지정 파라미터 지정대화형 엔드포인트 파라미터

가상 클러스터의 대화형 엔드포인트 생성

이 페이지에서는 AWS 명령줄 인터페이스(AWS CLI)를 사용하여 대화형 엔드포인트를 생성하는 방법을 설명합니다.

create-managed-endpoint 명령을 사용하여 대화형 엔드포인트 생성

다음과 같이 create-managed-endpoint 명령에서 파라미터를 지정합니다. Amazon EMR on EKS는 Amazon EMR 릴리스 6.7.0 이상을 사용하여 대화형 엔드포인트를 생성할 수 있도록 지원합니다.

aws emr-containers create-managed-endpoint \
‐‐type JUPYTER_ENTERPRISE_GATEWAY \
‐‐virtual‐cluster‐id 1234567890abcdef0xxxxxxxx \
‐‐name example-endpoint-name \
‐‐execution-role-arn arn:aws:iam::444455556666:role/JobExecutionRole \
‐‐release-label emr-6.9.0-latest \
‐‐configuration-overrides '{
    "applicationConfiguration": [{
        "classification": "spark-defaults",
        "properties": {
            "spark.driver.memory": "2G"
        }
    }],
    "monitoringConfiguration": {
        "cloudWatchMonitoringConfiguration": {
            "logGroupName": "log_group_name",
            "logStreamNamePrefix": "log_stream_prefix"
        },
        "persistentAppUI": "ENABLED",
        "s3MonitoringConfiguration": {
            "logUri": "s3://my_s3_log_location"
        }
    }
}'

자세한 내용은 대화형 엔드포인트를 생성하는 파라미터 섹션을 참조하세요.

JSON 파일에서 지정된 파라미터를 사용하여 대화형 엔드포인트 생성

  1. 다음 JSON 파일에 표시된 대로 create-managed-endpoint-request.json 파일을 생성하고 엔드포인트에 필요한 파라미터를 지정합니다.

    {
    "name": "MY_TEST_ENDPOINT",
    "virtualClusterId": "MY_CLUSTER_ID",
    "type": "JUPYTER_ENTERPRISE_GATEWAY",
    "releaseLabel": "emr-6.9.0-latest",
    "executionRoleArn": "arn:aws:iam::444455556666:role/JobExecutionRole",
    "configurationOverrides":
    {
        "applicationConfiguration": 
        [
            {
                "classification": "spark-defaults",
                "properties":
                {
                    "spark.driver.memory": "8G"
                }
            }
        ],
        "monitoringConfiguration":
        {
            "persistentAppUI": "ENABLED",
            "cloudWatchMonitoringConfiguration":
            {
                "logGroupName": "my_log_group",
                "logStreamNamePrefix": "log_stream_prefix"
            },
            "s3MonitoringConfiguration":
            {
                "logUri": "s3://my_s3_log_location"
            }
        }
    }
}

  2. 로컬로 저장되었거나 Amazon S3에 저장된 create-managed-endpoint-request.json 파일 경로와 함께 create-managed-endpoint 명령을 사용합니다.

    aws emr-containers create-managed-endpoint \
‐‐cli-input-json  file://./create-managed-endpoint-request.json ‐‐region AWS-Region

대화형 엔드포인트 생성 출력

다음과 같은 출력이 터미널에 표시됩니다. 출력에는 새 대화형 엔드포인트의 이름과 식별자가 포함됩니다.

{
    "id": "1234567890abcdef0",
    "name": "example-endpoint-name", 
    "arn": "arn:aws:emr-containers:us-west-2:111122223333:/virtualclusters/444455556666/endpoints/444455556666",
    "virtualClusterId": "111122223333xxxxxxxx"
}

aws emr-containers create-managed-endpoint를 실행하면 EMR Studio와 대화형 엔드포인트 서버 간의 HTTPS 통신을 허용하는 자체 서명된 인증서가 생성됩니다.

create-managed-endpoint를 실행했지만 필수 조건을 완료하지 않은 경우 Amazon EMR은 계속하기 위해 취해야 하는 작업이 포함된 오류 메시지를 반환합니다.

대화형 엔드포인트를 생성하는 파라미터

대화형 엔드포인트의 필수 파라미터

대화형 엔드포인트를 생성할 때 다음 파라미터를 지정해야 합니다.

‐‐type

JUPYTER_ENTERPRISE_GATEWAY를 사용합니다. 지원되는 유일한 유형입니다.

‐‐virtual-cluster-id

Amazon EMR on EKS에 등록한 가상 클러스터의 식별자입니다.

‐‐name

EMR Studio 사용자가 드롭다운 목록에서 선택하는 데 도움이 되는 대화형 엔드포인트의 설명 이름.

‐‐execution-role-arn

필수 조건의 일부로 생성된 Amazon EMR on EKS에 대한 IAM 작업 실행 역할의 Amazon 리소스 이름(ARN)입니다.

‐‐release-label

엔드포인트에 사용할 Amazon EMR 릴리스의 릴리스 레이블입니다. 예: emr-6.9.0-latest. Amazon EMR on EKS는 Amazon EMR 릴리스 6.7.0 이상에서 대화형 엔드포인트를 지원합니다.

대화형 엔드포인트의 선택적 파라미터

대화형 엔드포인트를 생성할 때 선택적으로 다음 파라미터도 지정할 수 있습니다.

‐‐configuration-overrides

애플리케이션의 기본 구성을 재정의하려면 구성 객체를 제공합니다. 간편 구문을 사용하여 구성을 제공하거나 JSON 파일의 구성 객체를 참조할 수 있습니다.

구성 객체는 분류, 속성 및 선택적 중첩 구성으로 이루어져 있습니다. 속성은 해당 파일에서 재정의하려는 설정으로 구성됩니다. 단일 JSON 객체에서 여러 애플리케이션에 대해 다양한 분류를 지정할 수 있습니다. 사용 가능한 구성 분류는 Amazon EMR on EKS 릴리스에 따라 달라집니다. Amazon EMR on EKS의 각 릴리스에서 사용할 수 있는 구성 분류 목록은 Amazon EMR on EKS 릴리스 섹션을 참조하세요. 각 릴리스에 대해 나열된 구성 분류 외에도 대화형 엔드포인트는 추가 분류 jeg-config를 제공합니다. 자세한 내용은 Jupyter Enterprise Gateway(JEG) 구성 옵션 섹션을 참조하세요.