Gestione di un Amazon EMR Studio - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Gestione di un Amazon EMR Studio

Questa sezione include istruzioni per monitorare, aggiornare o eliminare una risorsa EMR Studio. Per informazioni su come assegnare utenti o aggiornare le autorizzazioni utente, consulta Assegnazione e gestione degli utenti di EMR Studio.

Visualizzazione dei dettagli dello Studio

New console
Visualizzazione dei dettagli di un EMR Studio con la nuova console
  1. Apri la console Amazon EMR all'indirizzo https://console.aws.amazon.com/emr.

  2. In EMR Studio, nella barra di navigazione a sinistra, scegli Studio.

  3. Seleziona lo Studio dall'elenco Studio per aprire la pagina dei suoi dettagli. La pagina dei dettagli dello Studio include le informazioni di Configurazione dello Studio, quali Descrizione, VPC e Sottoreti dello Studio.

Old console
Visualizzazione dei dettagli di un EMR Studio con la vecchia console
  1. Apri la console Amazon EMR all'indirizzo https://console.aws.amazon.com/elasticmapreduce/home.

  2. Seleziona EMR Studio dalla barra di navigazione a sinistra.

  3. Seleziona il Studio dall'elenco Studios (Studio) per aprire la pagina dei dettagli dello Studio. La pagina dei dettagli dello Studio include le informazioni di Configurazione dello Studio, quali Descrizione, VPC e Sottoreti dello Studio.

CLI

Recupero dei dettagli di un EMR Studio tramite l'ID dello Studio utilizzando AWS CLI

Utilizza il seguente comando describe-studio della AWS CLI per recuperare informazioni dettagliate su un EMR Studio specifico. Per ulteriori informazioni, consulta la Guida di riferimento ai comandi della AWS CLI.

aws emr describe-studio \ --studio-id <id-of-studio-to-describe> \

Recupero di un elenco degli EMR Studio utilizzando AWS CLI

Utilizza il seguente comando list-studios della AWS CLI. Per ulteriori informazioni, consulta la Guida di riferimento ai comandi della AWS CLI.

aws emr list-studios

Di seguito è riportato un valore restituito di esempio per il comando list-studios in formato JSON.

{ "Studios": [ { "AuthMode": "IAM", "VpcId": "vpc-b21XXXXX", "Name": "example-studio-name", "Url": "https://es-7HWP74SNGDXXXXXXXXXXXXXXX.emrstudio-prod.us-east-1.amazonaws.com", "CreationTime": 1605672582.781, "StudioId": "es-7HWP74SNGDXXXXXXXXXXXXXXX", "Description": "example studio description" } ] }

Monitoraggio delle operazioni di Amazon EMR Studio

Visualizzazione dell'attività di EMR Studio e dell'API

EMR Studio è integrato con AWS CloudTrail, un servizio che offre un registro delle operazioni eseguite da un utente, da un ruolo IAM o da un altro servizio AWS in EMR Studio. CloudTrail acquisisce le chiamate API per EMR Studio come eventi. È possibile visualizzare gli eventi utilizzando la CloudTrail console all'indirizzo https://console.aws.amazon.com/cloudtrail/.

Gli eventi EMR Studio forniscono informazioni come quale utente Studio o IAM effettua una richiesta e il tipo di richiesta.

Nota

Le operazioni on-cluster come l'esecuzione di processi notebook non emetto AWS CloudTrail.

Puoi anche creare un percorso per la distribuzione continua degli CloudTrail eventi EMR Studio a un bucket Amazon S3. Per ulteriori informazioni, consulta la AWS CloudTrailGuida per l'utente.

CloudTrail Evento di esempio: un utente chiama l'API DescribeStudio

Di seguito è riportato un AWS CloudTrail evento di esempio che viene creato quando un utente chiama l'DescribeStudioAPI. admin CloudTrail registra il nome utente comeadmin.

Nota

Per proteggere i dettagli di Studio, l'evento API EMR Studio per DescribeStudio esclude un valore per. responseElements

{ "eventVersion":"1.08", "userIdentity":{ "type":"IAMUser", "principalId":"AIDXXXXXXXXXXXXXXXXXX", "arn":"arn:aws:iam::653XXXXXXXXX:user/admin", "accountId":"653XXXXXXXXX", "accessKeyId":"AKIAIOSFODNN7EXAMPLE", "userName":"admin" }, "eventTime":"2021-01-07T19:13:58Z", "eventSource":"elasticmapreduce.amazonaws.com", "eventName":"DescribeStudio", "awsRegion":"us-east-1", "sourceIPAddress":"72.XX.XXX.XX", "userAgent":"aws-cli/1.18.188 Python/3.8.5 Darwin/18.7.0 botocore/1.19.28", "requestParameters":{ "studioId":"es-9O5XXXXXXXXXXXXXXXXXXXXXX" }, "responseElements":null, "requestID":"0fxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "eventID":"b0xxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "readOnly":true, "eventType":"AwsApiCall", "managementEvent":true, "eventCategory":"Management", "recipientAccountId":"653XXXXXXXXX" }

Visualizzazione dell'attività degli utenti e dei processi Spark

Per visualizzare l'attività dei processi Spark da parte degli utenti di Amazon EMR Studio, è possibile configurare la rappresentazione utente in un cluster. Con la rappresentazione utente, ogni processo Spark inviato da un Workspace è associato all'utente Studio che ha eseguito il codice.

Quando la rappresentazione utente è abilitata, Amazon EMR crea una directory utente HDFS nel nodo primario del cluster per ogni utente che esegue il codice nel Workspace. Ad esempio, se l'utente studio-user-1@example.com esegue il codice, puoi collegarti al nodo primario per riscontrare che hadoop fs -ls /user ha una directory per studio-user-1@example.com.

Per impostare la rappresentazione utente di Spark, imposta le seguenti proprietà nelle classificazioni di configurazione:

  • core-site

  • livy-conf

[ { "Classification": "core-site", "Properties": { "hadoop.proxyuser.livy.groups": "*", "hadoop.proxyuser.livy.hosts": "*" } }, { "Classification": "livy-conf", "Properties": { "livy.impersonation.enabled": "true" } } ]

Per visualizzare le pagine del server della cronologia, consulta Debug di applicazioni e processi con EMR Studio. È inoltre possibile connettersi al nodo primario del cluster utilizzando SSH per visualizzare le interfacce Web dell'applicazione. Per ulteriori informazioni, consulta Visualizza le interfacce Web ospitate su cluster Amazon EMR.

Aggiornamento di un Amazon EMR Studio

Dopo aver creato un EMR Studio, puoi aggiornare i seguenti attributi utilizzando la AWS CLI:

  • Nome

  • Descrizione

  • Percorso S3 predefinito

  • Sottoreti

Aggiornamento di un EMR Studio mediante la AWS CLI

Utilizza il comando update-studio della AWS CLI per aggiornare un EMR Studio. Per ulteriori informazioni, consulta la sezione relativa alle informazioni di riferimento ai comandi della AWS CLI.

Nota

Puoi associare uno Studio a un massimo di 5 sottoreti. Queste sottoreti devono appartenere allo stesso VPC dello Studio. L'elenco degli ID delle sottoreti inviati al comando update-studio può includere nuovi ID di sottorete, ma deve includere anche tutti gli ID di sottorete precedentemente associati allo Studio. Non è possibile rimuovere le sottoreti da uno Studio.

aws emr update-studio \ --studio-id <example-studio-id-to-update> \ --name <example-new-studio-name> \ --subnet-ids <old-subnet-id-1 old-subnet-id-2 old-subnet-id-3 new-subnet-id> \

Per verificare le modifiche, utilizza il comando describe-studio della AWS CLI e specifica l'ID del tuo Studio. Per ulteriori informazioni, consulta la Guida di riferimento ai comandi della AWS CLI.

aws emr describe-studio \ --studio-id <id-of-updated-studio> \

Eliminazione di un Amazon EMR Studio e di Workspace

Quando elimini uno Studio, EMR Studio elimina tutte le assegnazioni di utenti e gruppi IAM Identity Center che sono associate allo Studio.

Nota

Quando elimini uno Studio, Amazon EMR non elimina i Workspace a esso associati. È necessario eliminare separatamente i Workspace nello Studio.

Eliminazione dei Workspace

Console

Poiché ogni Workspace EMR Studio è un'istanza di notebook EMR, è possibile utilizzare la console di gestione Amazon EMR per eliminare i Workspace. Puoi eliminare i Workspace utilizzando la console Amazon EMR prima o dopo l'eliminazione di Studio

Eliminazione di un Workspace mediante la console Amazon EMR
  1. Passa alla nuova console Amazon EMR e seleziona Passa alla vecchia console dalla barra di navigazione laterale. Per ulteriori informazioni su cosa aspettarti quando passi alla vecchia console, consulta Utilizzo della vecchia console.

  2. Seleziona Notebook.

  3. Seleziona i Workspace che intendi eliminare.

  4. Seleziona Elimina e quindi nuovamente Elimina per confermare.

  5. Segui le istruzioni per l'Eliminazione di oggetti nella Guida per l'utente della console Amazon Simple Storage Service per rimuovere i file notebook associati al Workspace eliminato da Amazon S3.

EMR Studio UI
From the Workspace UIFrom the Workspaces list
From the Workspace UI
Eliminazione di un Workspace e dei file di backup associati da EMR Studio
  1. Accedi al tuo EMR Studio con l'URL di accesso allo Studio e seleziona Workspace dal riquadro di navigazione a sinistra.

  2. Individua il Workspace nell'elenco, quindi seleziona la casella di spunta accanto al relativo nome. È possibile selezionare più Workspace da eliminare contemporaneamente.

  3. Dall'elenco Workspace, seleziona Elimina in alto a destra per confermare che desideri eliminare i Workspace selezionati. Seleziona Elimina per confermare.

  4. Se desideri rimuovere i file notebook associati al WorkSpace eliminato da Amazon S3, segui le istruzioni per l'Eliminazione di oggetti nella Guida per l'utente della console Amazon Simple Storage Service. Se non hai creato lo Studio, contatta l'amministratore dello Studio per determinare la posizione del backup di Amazon S3 per il Workspace eliminato.

From the Workspaces list
Eliminazione di un WorkSpace e dei file di backup associati dall'elenco dei WorkSpace
  1. Vai all'elenco dei Workspace nella console.

  2. Seleziona il WorkSpace che desideri eliminare dall'elenco, quindi scegli Azioni.

  3. Scegli Elimina.

  4. Se desideri rimuovere i file notebook associati al WorkSpace eliminato da Amazon S3, segui le istruzioni per l'Eliminazione di oggetti nella Guida per l'utente della console Amazon Simple Storage Service. Se non hai creato lo Studio, contatta l'amministratore dello Studio per determinare la posizione del backup di Amazon S3 per il Workspace eliminato.

Eliminazione di un EMR Studio

New console
Eliminazione di un EMR Studio con la nuova console
  1. Apri la console Amazon EMR all'indirizzo https://console.aws.amazon.com/emr.

  2. In EMR Studio, nella barra di navigazione a sinistra, scegli Studio.

  3. Seleziona lo Studio dall'elenco degli Studios (Studio) tramite l'interruttore a sinistra del nome dello Studio. Scegli Elimina.

Old console
Eliminazione di un EMR Studio con la vecchia console
  1. Apri la console Amazon EMR all'indirizzo https://console.aws.amazon.com/elasticmapreduce/home.

  2. Seleziona EMR Studio dalla barra di navigazione a sinistra.

  3. Seleziona lo Studio dall'elenco Studio e scegli Elimina.

CLI

Eliminazione di un EMR Studio con la AWS CLI

Utilizza il comando delete-studio della AWS CLI per eliminare un EMR Studio. Per ulteriori informazioni, consulta la sezione relativa alle informazioni di riferimento ai comandi di AWS CLI.

aws emr delete-studio --studio-id <id-of-studio-to-delete>