Creación de un punto de conexión interactivo para su clúster virtual

En esta página se describe cómo crear un punto final interactivo mediante la interfaz de línea de AWS comandos ()AWS CLI.

Crear un punto de conexión interactivo con el comando create-managed-endpoint

Especifique los parámetros en el comando create-managed-endpoint de la siguiente manera. Amazon EMR on EKS admite la creación de puntos de enlace interactivos con las EMR versiones 6.7.0 y posteriores de Amazon.

aws emr-containers create-managed-endpoint \
‐‐type JUPYTER_ENTERPRISE_GATEWAY \
‐‐virtual‐cluster‐id 1234567890abcdef0xxxxxxxx \
‐‐name example-endpoint-name \
‐‐execution-role-arn arn:aws:iam::444455556666:role/JobExecutionRole \
‐‐release-label emr-6.9.0-latest \
‐‐configuration-overrides '{
    "applicationConfiguration": [{
        "classification": "spark-defaults",
        "properties": {
            "spark.driver.memory": "2G"
        }
    }],
    "monitoringConfiguration": {
        "cloudWatchMonitoringConfiguration": {
            "logGroupName": "log_group_name",
            "logStreamNamePrefix": "log_stream_prefix"
        },
        "persistentAppUI": "ENABLED",
        "s3MonitoringConfiguration": {
            "logUri": "s3://my_s3_log_location"
        }
    }
}'

Para obtener más información, consulte Parámetros para crear un punto de conexión interactivo.

Cree un punto final interactivo con parámetros específicos en un archivo JSON

1. Cree un create-managed-endpoint-request.json archivo y especifique los parámetros necesarios para su punto final, como se muestra en el siguiente JSON archivo:

   {
       "name": "MY_TEST_ENDPOINT",
       "virtualClusterId": "MY_CLUSTER_ID",
       "type": "JUPYTER_ENTERPRISE_GATEWAY",
       "releaseLabel": "emr-6.9.0-latest",
       "executionRoleArn": "arn:aws:iam::444455556666:role/JobExecutionRole",
       "configurationOverrides":
       {
           "applicationConfiguration": 
           [
               {
                   "classification": "spark-defaults",
                   "properties":
                   {
                       "spark.driver.memory": "8G"
                   }
               }
           ],
           "monitoringConfiguration":
           {
               "persistentAppUI": "ENABLED",
               "cloudWatchMonitoringConfiguration":
               {
                   "logGroupName": "my_log_group",
                   "logStreamNamePrefix": "log_stream_prefix"
               },
               "s3MonitoringConfiguration":
               {
                   "logUri": "s3://my_s3_log_location"
               }
           }
       }
   }

2. Utilice el comando create-managed-endpoint con una ruta al archivo create-managed-endpoint-request.json que esté almacenado localmente o en Amazon S3.

   aws emr-containers create-managed-endpoint \
   ‐‐cli-input-json  file://./create-managed-endpoint-request.json ‐‐region AWS-Region

Resultado de crear un punto de conexión interactivo

Debería ver el siguiente resultado en el terminal. El resultado incluye el nombre y el identificador del nuevo punto de conexión interactivo:

{
    "id": "1234567890abcdef0",
    "name": "example-endpoint-name", 
    "arn": "arn:aws:emr-containers:us-west-2:111122223333:/virtualclusters/444455556666/endpoints/444455556666",
    "virtualClusterId": "111122223333xxxxxxxx"
}

Al aws emr-containers create-managed-endpoint ejecutarlo, se crea un certificado autofirmado que permite HTTPS la comunicación entre EMR Studio y el servidor de punto final interactivo.

Si ejecutas create-managed-endpoint y no has completado los requisitos previos, Amazon EMR devuelve un mensaje de error con las acciones que debes realizar para continuar.

Parámetros para crear un punto de conexión interactivo

Parámetros obligatorios para los puntos de conexión interactivos

Debe especificar los siguientes parámetros cuando cree un punto de conexión interactivo:

‐‐type

Utilice JUPYTER_ENTERPRISE_GATEWAY. Este es el único tipo admitido.

‐‐virtual-cluster-id

El identificador del clúster virtual en el que te registraste EMR en AmazonEKS.

‐‐name

Un nombre descriptivo para el terminal interactivo que ayuda a los usuarios de EMR Studio a seleccionarlo en la lista desplegable.

‐‐execution-role-arn

El nombre del recurso de Amazon (ARN) de su IAM función de ejecución de tareas para EMR Amazon EKS que se creó como parte de los requisitos previos.

‐‐release-label

La etiqueta de lanzamiento de la EMR versión de Amazon que se utilizará en el punto final. Por ejemplo, emr-6.9.0-latest. Amazon EMR on EKS admite puntos de enlace interactivos con las EMR versiones 6.7.0 y posteriores de Amazon.

Parámetros opcionales para los puntos de conexión interactivos

De forma opcional, también puede especificar los parámetros siguientes al crear un punto de conexión interactivo:

‐‐configuration-overrides

Para anular las configuraciones predeterminadas de las aplicaciones, proporcione un objeto de configuración. Puede utilizar una sintaxis abreviada para proporcionar la configuración o puede hacer referencia al objeto de configuración en un archivo. JSON

Los objetos de configuración se componen de una clasificación, propiedades y configuraciones anidadas opcionales. Las propiedades consisten en las configuraciones que desea anular en ese archivo. Puede especificar varias clasificaciones para varias aplicaciones en un único objeto. JSON Las clasificaciones de configuración disponibles varían según Amazon EMR en el momento del EKS lanzamiento. Para obtener una lista de las clasificaciones de configuración disponibles para cada versión de Amazon EMR onEKS, consulteAmazon EMR sobre los EKS lanzamientos. Además de las clasificaciones de configuración enumeradas para cada versión, los puntos de conexión interactivos incluyen la clasificación adicional jeg-config. Para obtener más información, consulte Opciones de configuración de Jupyter Enterprise Gateway (JEG).