Gestione di un Amazon EMR Studio - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Gestione di un Amazon EMR Studio

Questa sezione include istruzioni per monitorare, aggiornare o eliminare una risorsa EMR Studio. Per informazioni su come assegnare utenti o aggiornare le autorizzazioni utente, consulta Assegnazione e gestione degli utenti di EMR Studio.

Visualizzazione dei dettagli dello Studio

New console
Visualizzazione dei dettagli di un EMR Studio con la nuova console
  1. Apri la console Amazon EMR all'indirizzohttps://console.aws.amazon.com/emr.

  2. In EMR Studio, nella barra di navigazione a sinistra, scegli Studios (Studio).

  3. Seleziona il Studio dall'elenco Studios (Studio) per aprire la pagina dei dettagli dello Studio. La pagina dei dettagli dello Studio include le informazioni di Studio setting (Configurazione dello Studio), quali la Description (Descrizione), il VPC e le Subnets (Sottoreti) dello Studio.

Old console
Visualizzazione dei dettagli di un EMR Studio con la vecchia console
  1. Apri la console Amazon EMR all'indirizzohttps://console.aws.amazon.com/elasticmapreduce/home.

  2. Scegli EMR Studio dalla barra di navigazione a sinistra.

  3. Seleziona il Studio dall'elenco Studios (Studio) per aprire la pagina dei dettagli dello Studio. La pagina dei dettagli dello Studio include le informazioni di Studio setting (Configurazione dello Studio), quali la Description (Descrizione), il VPC e le Subnets (Sottoreti) dello Studio.

CLI

Recupero dei dettagli di un EMR Studio tramite l'ID dello Studio utilizzando AWS CLI

Utilizza il seguente comando describe-studio della AWS CLI per recuperare informazioni dettagliate su un EMR Studio specifico. Per ulteriori informazioni, consulta la Guida di riferimento ai comandi della AWS CLI.

aws emr describe-studio \ --studio-id <id-of-studio-to-describe> \

Recupero di un elenco degli EMR Studio utilizzando AWS CLI

Utilizza il seguente comando list-studios della AWS CLI. Per ulteriori informazioni, consulta la Guida di riferimento ai comandi della AWS CLI.

aws emr list-studios

Di seguito è riportato un valore restituito di esempio per il comando list-studios in formato JSON.

{ "Studios": [ { "AuthMode": "IAM", "VpcId": "vpc-b21XXXXX", "Name": "example-studio-name", "Url": "https://es-7HWP74SNGDXXXXXXXXXXXXXXX.emrstudio-prod.us-east-1.amazonaws.com", "CreationTime": 1605672582.781, "StudioId": "es-7HWP74SNGDXXXXXXXXXXXXXXX", "Description": "example studio description" } ] }

Monitoraggio delle operazioni di Amazon EMR Studio

Visualizzazione dell'attività di EMR Studio e dell'API

EMR Studio è integrato conAWS CloudTrail, un servizio che fornisce un registro delle azioni intraprese da un utente, da un ruolo IAM o da un altroAWSservizio in EMR Studio. CloudTrailacquisisce le chiamate API per EMR Studio come eventi. È possibile visualizzare gli eventi utilizzandoCloudTrailconsolle ahttps://console.aws.amazon.com/cloudtrail/.

Gli eventi EMR Studio forniscono informazioni come quale utente Studio o IAM effettua una richiesta e il tipo di richiesta.

Nota

Le operazioni on-cluster come l'esecuzione di processi notebook non emetto AWS CloudTrail.

È inoltre possibile creare un percorso per la distribuzione continua di EMR StudioCloudTraileventi in un bucket Amazon S3. Per ulteriori informazioni, consulta la Guida per l'utente AWS CloudTrail.

EsempioCloudTrailEvento: un utente chiamaDescribeStudioAPI

Di seguito è riportato un esempioAWS CloudTrailevento che viene creato quando un utente,admin, chiamaDescribeStudioAPI. CloudTrailregistra il nome utente comeadmin.

Nota

Per proteggere i dettagli di Studio, l'evento API di EMR Studio perDescribeStudioesclude un valore perresponseElements.

{ "eventVersion":"1.08", "userIdentity":{ "type":"IAMUser", "principalId":"AIDXXXXXXXXXXXXXXXXXX", "arn":"arn:aws:iam::653XXXXXXXXX:user/admin", "accountId":"653XXXXXXXXX", "accessKeyId":"AKIAIOSFODNN7EXAMPLE", "userName":"admin" }, "eventTime":"2021-01-07T19:13:58Z", "eventSource":"elasticmapreduce.amazonaws.com", "eventName":"DescribeStudio", "awsRegion":"us-east-1", "sourceIPAddress":"72.XX.XXX.XX", "userAgent":"aws-cli/1.18.188 Python/3.8.5 Darwin/18.7.0 botocore/1.19.28", "requestParameters":{ "studioId":"es-9O5XXXXXXXXXXXXXXXXXXXXXX" }, "responseElements":null, "requestID":"0fxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "eventID":"b0xxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "readOnly":true, "eventType":"AwsApiCall", "managementEvent":true, "eventCategory":"Management", "recipientAccountId":"653XXXXXXXXX" }

Visualizzazione dell'attività degli utenti e dei processi Spark

Per visualizzare l'attività dei processi Spark da parte degli utenti di Amazon EMR Studio, è possibile configurare la rappresentazione utente in un cluster. Con la rappresentazione utente, ogni processo Spark inviato da un WorkSpace è associato all'utente Studio che ha eseguito il codice.

Quando la simulazione dell'utente è abilitata, Amazon EMR crea una directory utente HDFS sul nodo principale del cluster per ogni utente che esegue codice nel Workspace. Ad esempio, se l'utentestudio-user-1@example.comesegue il codice, puoi connetterti al nodo primario e vederlohadoop fs -ls /userdispone di un elenco perstudio-user-1@example.com.

Per impostare la rappresentazione utente di Spark, imposta le seguenti proprietà nelle classificazioni di configurazione:

  • core-site

  • livy-conf

[ { "Classification": "core-site", "Properties": { "hadoop.proxyuser.livy.groups": "*", "hadoop.proxyuser.livy.hosts": "*" } }, { "Classification": "livy-conf", "Properties": { "livy.impersonation.enabled": "true" } } ]

Per visualizzare le pagine di Spark History Server, consulta Debug di applicazioni e processi con EMR Studio. È inoltre possibile connettersi al nodo principale del cluster tramite SSH per visualizzare le interfacce Web delle applicazioni. Per ulteriori informazioni, consulta Visualizzazione di interfacce Web ospitate su cluster Amazon EMR.

Aggiornamento di un Amazon EMR Studio

Dopo aver creato un EMR Studio, puoi aggiornare i seguenti attributi utilizzando la AWS CLI:

  • Nome

  • Descrizione

  • Percorso S3 predefinito

  • Sottoreti

Aggiornamento di un EMR Studio utilizzando AWS CLI

Utilizza il comando update-studio della AWS CLI per aggiornare un EMR Studio. Per ulteriori informazioni, consultare la sezione relativa alle informazioni di riferimento ai comandi della AWS CLI.

Nota

Puoi associare uno Studio a un massimo di 5 sottoreti. Queste sottoreti devono appartenere allo stesso VPC dello Studio. L'elenco degli ID delle sottoreti inviati al comando update-studio può includere nuovi ID di sottorete, ma deve includere anche tutti gli ID di sottorete precedentemente associati allo Studio. Non è possibile rimuovere le sottoreti da uno Studio.

aws emr update-studio \ --studio-id <example-studio-id-to-update> \ --name <example-new-studio-name> \ --subnet-ids <old-subnet-id-1 old-subnet-id-2 old-subnet-id-3 new-subnet-id> \

Per verificare le modifiche, utilizza il comando describe-studio della AWS CLI e specifica l'ID del tuo Studio. Per ulteriori informazioni, consulta la Guida di riferimento ai comandi della AWS CLI.

aws emr describe-studio \ --studio-id <id-of-updated-studio> \

Eliminazione di un Amazon EMR Studio e un'istanza WorkSpace

Quando elimini uno Studio, EMR Studio elimina tutte le assegnazioni di utenti e gruppi IAM Identity Center che sono associate allo Studio.

Nota

Quando elimini uno Studio, Amazon EMR non elimina l'istanza WorkSpace associata a tale Studio. È necessario eliminare separatamente l'istanza WorkSpace nello Studio.

Eliminare l'istanza WorkSpace

Console

Poiché ogni istanza WorkSpace di EMR Studio è un'istanza di notebook EMR, è possibile utilizzare la console di gestione Amazon EMR per eliminare l'istanza WorkSpace. Puoi eliminare l'istanza WorkSpace utilizzando la console Amazon EMR prima o dopo l'eliminazione di Studio

Per eliminare un'istanza WorkSpace utilizzando la console Amazon EMR
  1. Accedi alla nuova console Amazon EMR e selezionaPassa alla vecchia consoledalla navigazione laterale. Per ulteriori informazioni su cosa aspettarsi quando si passa alla vecchia console, vediUtilizzo della vecchia console.

  2. Scegliere Notebook.

  3. Selezionare le istanze WorkSpace che si intendono eliminare.

  4. Scegliere Delete (Elimina) quindi scegliere di nuovo Delete (Elimina) per confermare.

  5. Segui le istruzioni per l'Eliminazione di oggetti nella Guida per l'utente della console Amazon Simple Storage Service per rimuovere i file notebook associati all'istanza WorkSpace eliminata da Amazon S3.

EMR Studio UI
From the Workspace UIFrom the Workspaces list
From the Workspace UI
Eliminare uno spazio di lavoro e i file di backup associati da EMR Studio
  1. Accedi al tuo EMR Studio con l'URL di accesso allo Studio e seleziona WorkSpaces (WorkSpace) dal riquadro di navigazione a sinistra.

  2. Individua il WorkSpace nell'elenco, quindi seleziona la casella di controllo accanto al relativo nome. È possibile selezionare più WorkSpace da eliminare contemporaneamente.

  3. Dall'elenco WorkSpaces (WorkSpace), seleziona Delete (Elimina) in alto a destra per confermare che desideri eliminare i WorkSpace selezionati. Seleziona Delete (Elimina) per confermare.

  4. Se desideri rimuovere i file del notebook associati all'area di lavoro eliminata da Amazon S3, segui le istruzioni perEliminazione di oggettinelServizio Amazon Simple Storage Guida per l'utente della console. Se non hai creato lo Studio, contatta l'amministratore dello Studio per determinare la posizione del backup di Amazon S3 per il WorkSpace eliminato.

From the Workspaces list
Eliminare un workspace e i file di backup associati dall'elenco delle aree di lavoro
  1. Accedere allaSpazio di lavoroUna lista nella console.

  2. Seleziona l'area di lavoro che desideri eliminare dall'elenco, quindi scegliAzioni.

  3. Scegliere Elimina.

  4. Se desideri rimuovere i file del notebook associati all'area di lavoro eliminata da Amazon S3, segui le istruzioni perEliminazione di oggettinelServizio Amazon Simple Storage Guida per l'utente della console. Se non hai creato lo Studio, contatta l'amministratore dello Studio per determinare la posizione del backup di Amazon S3 per il WorkSpace eliminato.

Eliminazione di un EMR Studio

New console
Eliminazione di un EMR Studio con la nuova console
  1. Apri la console Amazon EMR all'indirizzohttps://console.aws.amazon.com/emr.

  2. In EMR Studio, nella barra di navigazione a sinistra, scegli Studios (Studio).

  3. Seleziona lo Studio dall'elenco degli Studios (Studio) tramite l'interruttore a sinistra del nome dello Studio. Scegliere Elimina.

Old console
Eliminazione di un EMR Studio con la vecchia console
  1. Apri la console Amazon EMR all'indirizzohttps://console.aws.amazon.com/elasticmapreduce/home.

  2. Scegli EMR Studio dalla barra di navigazione a sinistra.

  3. Seleziona il Studio dall'elenco Studios (Studio) e scegli Delete (Elimina).

CLI

Eliminazione di un EMR Studio con la AWS CLI

Utilizza il comando delete-studio della AWS CLI per eliminare un EMR Studio. Per ulteriori informazioni, consultare la sezione relativa alle informazioni di riferimento ai comandi della AWS CLI.

aws emr delete-studio --studio-id <id-of-studio-to-delete>