Supervise, actualice y elimine los recursos de Amazon EMR Studio

En esta sección se incluyen instrucciones que le ayudarán a monitorear, actualizar o eliminar un recurso de EMR Studio. Para obtener información sobre la asignación de usuarios o la actualización de los permisos de los usuarios, consulte Asignar y administrar usuarios de EMR Studio.

Ver detalles del estudio

Console

Para ver detalles sobre un EMR Studio con la nueva consola

1. Abra la consola Amazon EMR en https://console.aws.amazon.com /emr.

2. En la barra de navegación de la izquierda, en EMR Studio, seleccione Studios.

3. Seleccione el estudio en la lista Studios para abrir la página de detalles del estudio. En la página de detalles del estudio se incluye información sobre los ajustes del estudio, como la descripción, la VPC y las subredes del estudio.

CLI

Para recuperar los detalles de un estudio EMR por ID de estudio mediante el AWS CLI

Utilice el siguiente describe-studio AWS CLI comando para obtener información detallada sobre un estudio de EMR en particular. Para obtener más información, consulte Referencia de comandos de la AWS CLI .

aws emr describe-studio \
 --studio-id <id-of-studio-to-describe> \

Para recuperar una lista de los estudios de EMR Studio mediante la AWS CLI

Use el siguiente comando list-studios AWS CLI . Para obtener más información, consulte Referencia de comandos de la AWS CLI .

aws emr list-studios

A continuación, se muestra un ejemplo del valor devuelto para el comando list-studios en formato JSON.

{
    "Studios": [
        {
            "AuthMode": "IAM",
            "VpcId": "vpc-b21XXXXX", 
            "Name": "example-studio-name", 
            "Url": "https://es-7HWP74SNGDXXXXXXXXXXXXXXX.emrstudio-prod.us-east-1.amazonaws.com", 
            "CreationTime": 1605672582.781, 
            "StudioId": "es-7HWP74SNGDXXXXXXXXXXXXXXX", 
            "Description": "example studio description"
        }
    ]
}

Monitorear las acciones de Amazon EMR Studio

Ver la actividad de EMR Studio y la API

EMR Studio está integrado con AWS CloudTrail un servicio que proporciona un registro de las acciones realizadas por un usuario, un rol de IAM u otro AWS servicio de EMR Studio. CloudTrail captura las llamadas a la API de EMR Studio como eventos. Puede ver los eventos mediante la CloudTrail consola en https://console.aws.amazon.com/cloudtrail/.

Los eventos de EMR Studio proporcionan información como qué estudio o usuario de IAM realiza una solicitud y qué tipo de solicitud es.

nota

Las acciones realizadas en el clúster, como la ejecución de tareas de cuaderno, no emiten AWS CloudTrail.

También puede crear un registro para la entrega continua de CloudTrail eventos de EMR Studio a un bucket de Amazon S3. Para obtener más información, consulte la Guía del usuario de AWS CloudTrail.

Ejemplo de CloudTrail evento: un usuario llama a la API DescribeStudio

El siguiente es un ejemplo de AWS CloudTrail evento que se crea cuando un usuario llama a la DescribeStudioAPI. admin CloudTrail registra el nombre de usuario comoadmin.

nota

Para proteger los detalles de Studio, el evento de la API de EMR Studio para DescribeStudio excluye un valor para. responseElements

{
   "eventVersion":"1.08",
   "userIdentity":{
      "type":"IAMUser",
      "principalId":"AIDXXXXXXXXXXXXXXXXXX",
      "arn":"arn:aws:iam::653XXXXXXXXX:user/admin",
      "accountId":"653XXXXXXXXX",
      "accessKeyId":"AKIAIOSFODNN7EXAMPLE",
      "userName":"admin"
   },
   "eventTime":"2021-01-07T19:13:58Z",
   "eventSource":"elasticmapreduce.amazonaws.com",
   "eventName":"DescribeStudio",
   "awsRegion":"us-east-1",
   "sourceIPAddress":"72.XX.XXX.XX",
   "userAgent":"aws-cli/1.18.188 Python/3.8.5 Darwin/18.7.0 botocore/1.19.28",
   "requestParameters":{
      "studioId":"es-9O5XXXXXXXXXXXXXXXXXXXXXX"
   },
   "responseElements":null,
   "requestID":"0fxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
   "eventID":"b0xxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
   "readOnly":true,
   "eventType":"AwsApiCall",
   "managementEvent":true,
   "eventCategory":"Management",
   "recipientAccountId":"653XXXXXXXXX"
}

Consulta de la actividad de los trabajos y los usuarios de Spark

Para ver la actividad de trabajos de Spark realizada por los usuarios de Amazon EMR Studio, puede configurar la suplantación de usuarios en un clúster. Con la suplantación de usuarios, cada trabajo de Spark que se envía desde un espacio de trabajo se asocia al usuario de Studio que ejecutó el código.

Cuando la suplantación de usuarios está habilitada, Amazon EMR crea un directorio de usuarios de HDFS en el nodo principal del clúster para cada usuario que ejecuta código en el espacio de trabajo. Por ejemplo, si el usuario [e-mail] ejecuta código, puede conectarse al nodo principal y comprobar si hadoop fs -ls /user tiene un directorio para [e-mail].

Para configurar la suplantación de usuarios de Spark, establezca las siguientes propiedades en las siguientes clasificaciones de configuración:

• core-site

• livy-conf

[
    {
        "Classification": "core-site",
        "Properties": {
          "hadoop.proxyuser.livy.groups": "*",
          "hadoop.proxyuser.livy.hosts": "*"
        }
    },
    {
        "Classification": "livy-conf",
        "Properties": {
          "livy.impersonation.enabled": "true"
        }
    }
]

Para consultar las páginas del servidor de historial, consulte Depurar aplicaciones y trabajos con EMR Studio. También puede conectarse al nodo principal del clúster mediante SSH para ver las interfaces web de la aplicación. Para obtener más información, consulte Ver las interfaces web alojadas en clústeres de Amazon EMR.

Actualizar un Amazon EMR Studio

Tras crear un EMR Studio, puede actualizar los siguientes atributos mediante la AWS CLI:

• Nombre

• Descripción

• Ubicación de S3 predeterminada

• Subredes

Para actualizar un EMR Studio mediante el AWS CLI

Utilice el update-studio AWS CLI comando para actualizar un estudio de EMR. Para obtener más información, consulte Referencia de comandos de la AWS CLI .

nota

Un estudio se puede utilizar con un máximo de 5 subredes. Estas subredes deben pertenecer a la misma VPC que el estudio. La lista de subredes IDs que envíe al update-studio comando puede incluir una nueva subred IDs, pero también debe incluir toda la subred IDs que ya haya asociado al Studio. No se pueden eliminar subredes de un estudio.

aws emr update-studio \
 --studio-id <example-studio-id-to-update> \
 --name <example-new-studio-name> \
 --subnet-ids <old-subnet-id-1 old-subnet-id-2 old-subnet-id-3 new-subnet-id> \

Para verificar los cambios, usa el describe-studio AWS CLI comando y especifica tu ID de Studio. Para obtener más información, consulte Referencia de comandos de la AWS CLI .

aws emr describe-studio \
 --studio-id <id-of-updated-studio> \

Eliminar un Amazon EMR Studio y un espacio de trabajo

Al eliminar un estudio, EMR Studio elimina todas las asignaciones de usuarios y grupos de IAM Identity Center asociadas al estudio.

nota

Al eliminar un estudio, Amazon EMR no elimina los espacios de trabajo asociados a ese estudio. Debe eliminar los espacios de trabajo de su estudio por separado.

Eliminar espacios de trabajo

Console

Dado que cada espacio de trabajo de EMR Studio es una instancia de cuaderno de EMR, puede utilizar la consola de administración de Amazon EMR para eliminar los espacios de trabajo. Puede eliminar espacios de trabajo mediante la consola de Amazon EMR antes o después de eliminar su estudio.

Para eliminar un espacio de trabajo mediante la consola de Amazon EMR

1. Vaya hasta la nueva consola de Amazon EMR y seleccione Ir a la consola antigua en el panel de navegación lateral. Para más información sobre lo que puede esperar al cambiar a la consola antigua, consulte Uso de la consola antigua.

2. Seleccione Cuadernos.

3. Seleccione los espacios de trabajo que desea eliminar.

4. Seleccione Eliminar y, a continuación, Eliminar de nuevo para confirmar la acción.

5. Siga las instrucciones para eliminar objetos en la Guía del usuario de la consola de Amazon Simple Storage Service para eliminar los archivos de cuadernos asociados al espacio de trabajo eliminado de Amazon S3.

EMR Studio UI

From the Workspace UIFrom the Workspaces list

From the Workspace UI

Eliminar un espacio de trabajo y sus archivos de copia de seguridad asociados de EMR Studio

1. Inicie sesión en su EMR Studio con la URL de acceso de su estudio y elija Espacios de trabajo en el menú de navegación de la izquierda.

2. Busque su espacio de trabajo en la lista y seleccione la casilla de verificación que aparece junto a su nombre. Puede seleccionar varios espacios de trabajo para eliminarlos al mismo tiempo.

3. Seleccione Eliminar en la esquina superior derecha de la lista de Espacios de trabajo y confirme que desea eliminar los espacios de trabajo seleccionados. Elija Eliminar para confirmar.

4. Si desea eliminar los archivos de cuadernos que estaban asociados al espacio de trabajo eliminado de Amazon S3, siga las instrucciones para eliminar objetos en la Guía del usuario de la consola de Amazon Simple Storage Service. Si usted no creó el estudio, consulte a su administrador del estudio para determinar la ubicación de la copia de seguridad de Amazon S3 para el espacio de trabajo eliminado.

From the Workspaces list

Eliminar un espacio de trabajo y sus archivos de copia de seguridad asociados de la lista de espacios de trabajo

1. Navegue hasta la lista Espacios de trabajo en la consola.

2. Seleccione el espacio de trabajo que desee eliminar de la lista y, a continuación, seleccione Acciones.

3. Elija Eliminar.

4. Si desea eliminar los archivos de cuadernos que estaban asociados al espacio de trabajo eliminado de Amazon S3, siga las instrucciones para eliminar objetos en la Guía del usuario de la consola de Amazon Simple Storage Service. Si usted no creó el estudio, consulte a su administrador del estudio para determinar la ubicación de la copia de seguridad de Amazon S3 para el espacio de trabajo eliminado.

Eliminar un EMR Studio

Console

Para eliminar un EMR Studio con la nueva consola

1. Abra la consola Amazon EMR en https://console.aws.amazon.com /emr.

2. En la barra de navegación de la izquierda, en EMR Studio, seleccione Studios.

3. Seleccione el estudio en la lista Studios con el botón situado a la izquierda del nombre del estudio. Elija Eliminar.

Old console

Para eliminar un EMR Studio con la antigua consola

1. Abre la consola Amazon EMR en https://console.aws.amazon.com/elasticmapreduce/ casa.

2. Seleccione EMR Studio en el menú de navegación de la izquierda.

3. Seleccione el estudio en la lista Studios y elija Eliminar.

CLI

Para eliminar un estudio de EMR con el AWS CLI

Utilice el delete-studio AWS CLI comando para eliminar un estudio de EMR. Para obtener más información, consulte Referencia de comandos de la AWS CLI .

aws emr delete-studio --studio-id <id-of-studio-to-delete>