Configurazione della registrazione e del debug di cluster

Quando pianifichi il cluster, devi determinare la quantità di supporto di debug che vuoi rendere disponibile. Durante lo sviluppo iniziale dell'applicazione di elaborazione dati, ti consigliamo di testare l'applicazione su un cluster che elabora un piccolo, ma rappresentativo, sottoinsieme dei tuoi dati. È probabile che per eseguire questa operazione tu intenda utilizzare tutti gli strumenti di debug forniti da Amazon EMR, come l'archiviazione dei file di log in Amazon S3.

Una volta terminata la fase di sviluppo dell'applicazione di elaborazione dati e avviata quella di produzione, puoi scegliere di ridurre il debug. In questo modo, azzeri il costo relativo all'archiviazione degli archivi di file di log in Amazon S3 e riduci il carico di elaborazione sul cluster in quanto non è più necessario scrivere lo stato su Amazon S3. L'inconveniente di questa scelta è che in caso di problemi avrai a disposizione un minor numero di strumenti per gestirli.

File di log di default

Per impostazione predefinita, ogni cluster scrive file di log sul nodo primario. Questi file sono scritti nella directory /mnt/var/log/. Puoi accedervi utilizzando SSH per la connessione al nodo primario come descritto in Connessione al nodo primario tramite SSH.

Nota

Se utilizzi Amazon EMR versione 6.8.0 o precedenti, i file di log vengono salvati in Amazon S3 durante la terminazione del cluster, quindi non puoi accedere ai file di log una volta terminato il nodo primario. Amazon EMR versione 6.9.0 e successive archiviano i log in Amazon S3 durante la riduzione del cluster, cosicché i file di log generati sul cluster persistono anche dopo la terminazione del nodo.

Non è necessario attivare alcuna opzione affinché i file di log siano scritti sul nodo primario. In effetti, questo è il comportamento predefinito di Amazon EMR e Hadoop.

Un cluster genera vari tipi di file di log, tra cui:

• Step logs (Log di fase): questi log sono generati dal servizio Amazon EMR e contengono informazioni sul cluster e i risultati di ogni fase. I file di log sono archiviati nella directory /mnt/var/log/hadoop/steps/ nel nodo primario. Ogni fase registra i risultati a essa relativi in una sottodirectory numerata distinta: /mnt/var/log/hadoop/steps/s-stepId1/ per la prima fase, /mnt/var/log/hadoop/steps/s-stepId2/, per la seconda e così via. Gli identificatori di fase a 13 caratteri (ad esempio stepId1, stepId2) sono esclusivi di un cluster.

• Registri dei componenti Hadoop e YARN: i log dei componenti associati sia ad Apache YARN che, ad esempio MapReduce, sono contenuti in cartelle separate in. /mnt/var/log Le posizioni dei file di log per i componenti Hadoop in /mnt/var/log sono le seguenti: hadoop-hdfs, hadoop-mapreduce, hadoop-httpfs e hadoop-yarn. La hadoop-state-pusher directory serve per l'output del processo Hadoop state pusher.

• Bootstrap action logs (Log delle operazioni di bootstrap): se il processo utilizza operazioni di bootstrap, i risultati di queste operazioni sono registrati. I file di log sono archiviati in /mnt/var/log/bootstrap-actions/ nel nodo primario. Ogni operazione di bootstrap registra i risultati a essa relativi in una sottodirectory numerata distinta: /mnt/var/log/bootstrap-actions/1/ per la prima operazione di bootstrap, /mnt/var/log/bootstrap-actions/2/ per la seconda e così via.

• Instance state logs (Log di stato dell'istanza): forniscono informazioni su CPU, stato della memoria e thread del garbage collector del nodo. I file di log sono archiviati in /mnt/var/log/instance-state/ nel nodo primario.

Archiviazione di file di log in Amazon S3

Nota

Non è al momento possibile utilizzare l'aggregazione dei log in Amazon S3 con l'utility yarn logs.

Amazon EMR rilascio 6.9.0 e successivi archiviano i log in Amazon S3 durante la riduzione del cluster, cosicché i file di log generati sul cluster persistono anche dopo la terminazione del nodo. Questo comportamento è abilitato automaticamente, quindi non devi fare nulla per attivarlo. Per Amazon EMR rilascio 6.8.0 e precedenti, è possibile configurare un cluster per archiviare periodicamente i file di log presenti nel nodo primario in Amazon S3. In questo modo, i file di log saranno disponibili anche dopo la terminazione del cluster, indipendentemente dalla causa della stessa (arresto normale, errore, ecc.). Amazon EMR archivia i file di log in Amazon S3 ogni 5 minuti.

Per Amazon EMR rilascio 6.8.0 e successivi, per archiviare i file di log in Amazon S3 devi abilitare tale caratteristica all'avvio del cluster. Puoi eseguire tale operazione mediante la console, la CLI o l'API. Per impostazione predefinita, l'archiviazione dei log è abilitata per i cluster avviati utilizzando la console. Per i cluster avviati mediante la CLI o l'API, la registrazione in Amazon S3 deve essere abilitata manualmente.

Nota

Abbiamo riprogettato la console Amazon EMR per facilitarne l'utilizzo. Per scoprire le differenze tra la vecchia e la nuova esperienza sulla console, consulta la sezione Console Amazon EMR.

New console

Archiviazione dei file di log in Amazon S3 con la nuova console

1. Accedi a e apri AWS Management Console la console Amazon EMR all'indirizzo https://console.aws.amazon.com/emr.

2. In EMR on EC2 (EMR su EC2), nel riquadro di navigazione a sinistra, scegli Clusters (Cluster) e seleziona Create cluster (Crea cluster).

3. In Cluster logs (Log del cluster), seleziona la casella di controllo Publish cluster-specific logs to Amazon S3 (Pubblica log specifici del cluster su Amazon S3).

4. Nel campo Amazon S3 location (Posizione Amazon S3), digita o cerca il percorso Amazon S3 in cui archiviare i log. Se digiti il nome di una cartella che non esiste nel bucket, Amazon S3 crea tale cartella.

   Quando imposti questo valore, Amazon EMR copia i file di log dalle istanze EC2 nel cluster in Amazon S3. Questa operazione evita che i file di log vadano persi quando il cluster termina ed EC2 termina le istanze EC2 che ospitano il cluster. Questi log sono utili per la risoluzione dei problemi. Per ulteriori informazioni, consulta Visualizzazione dei file di log.

5. Facoltativamente, seleziona la casella di controllo Encrypt cluster-specific logs (Crittografa log specifici del cluster). Quindi, seleziona una AWS KMS chiave dall'elenco, inserisci un ARN della chiave o crea una nuova chiave. Questa opzione è disponibile solo con Amazon EMR versione 5.30.0 e successive, esclusa la versione 6.0.0. Per utilizzare questa opzione, aggiungi l'autorizzazione AWS KMS per il tuo profilo di istanza EC2 e il ruolo Amazon EMR. Per ulteriori informazioni, consulta Crittografia dei file di log archiviati in Amazon S3 con una chiave gestita dal cliente di AWS KMS.

6. Scegli qualsiasi altra opzione applicabile al cluster.

7. Per avviare il cluster, scegli Create cluster (Crea cluster).

Old console

Archiviazione dei file di log in Amazon S3 con la vecchia console

1. Passa alla nuova console Amazon EMR e seleziona Passa alla vecchia console dalla barra di navigazione laterale. Per ulteriori informazioni su cosa aspettarti quando passi alla vecchia console, consulta Utilizzo della vecchia console.

2. Scegli Create cluster (Crea cluster).

3. Scegli Go to advanced options (Vai alle opzioni avanzate).

4. Nella sezione Opzioni generali, nel campo Registrazione, accetta l'opzione predefinita: Abilitato.

   Questo determina se Amazon EMR cattura i dati di log dettagliati su Amazon S3. È possibile effettuare questa impostazione solo quando si crea il cluster. Per ulteriori informazioni, consulta Visualizzare file di log di .

5. Nel campo S3 folder (Cartella S3), digita (o passa a) un percorso Amazon S3 per archiviare i log. Puoi anche permettere alla console di generare un percorso Amazon S3 al posto tuo. Se digita il nome di una cartella che non esiste nel bucket, questa viene creata.

   Quando questo valore è impostato, Amazon EMR copia i file di log dalle istanze EC2 nel cluster in Amazon S3. Questa azione evita che i file di log vengano persi quando il cluster termina e le istanze EC2 che ospitano il cluster sono terminate. Questi log sono utili per la risoluzione dei problemi.

   Per ulteriori informazioni, consulta Visualizzazione dei file di log.

6. Nel campo Crittografia dei log, seleziona Crittografa i log archiviati in S3 con una AWS chiave KMS gestita dal cliente. Quindi seleziona una chiave AWS KMS dall'elenco o inserisci una chiave ARN. Puoi anche creare una nuova AWS KMS chiave.

   Questa opzione è disponibile solo con Amazon EMR versione 5.30.0 e successive, esclusa la versione 6.0.0. Per utilizzare questa opzione, aggiungi l'autorizzazione AWS KMS per il profilo dell'istanza EC2 e il ruolo Amazon EMR. Per ulteriori informazioni, consulta Crittografia dei file di log archiviati in Amazon S3 con una chiave gestita dal cliente di AWS KMS.

7. Procedere con la creazione del cluster come descritto in Pianificazione e configurazione di cluster.

CLI

Per archiviare i file di registro su Amazon S3 con AWS CLI

Per archiviare i file di log su Amazon S3 utilizzando AWS CLI, digita il create-cluster comando e specifica il percorso di log di Amazon S3 utilizzando il parametro. --log-uri

1. Per registrare file di log in Amazon S3, digita il comando seguente e sostituisci myKey con il nome della coppia di chiavi EC2.

   aws emr create-cluster --name "Test cluster" --release-label emr-7.1.0 --log-uri s3://DOC-EXAMPLE-BUCKET/logs --applications Name=Hadoop Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey --instance-type m5.xlarge --instance-count 3

2. Quando si specifica il numero di istanze senza utilizzare il parametro --instance-groups, viene avviato un singolo nodo primario e le istanze rimanenti vengono avviate come nodi core. Tutti i nodi utilizzeranno il tipo di istanza specificato nel comando.

   Nota

   Se in precedenza non sono stati creati il ruolo di servizio Amazon EMR predefinito e il profilo dell'istanza EC2, inserisci aws emr create-default-roles per crearli prima di digitare il sottocomando create-cluster.

Crittografia dei file di log archiviati in Amazon S3 con una chiave gestita dal cliente di AWS KMS

Con Amazon EMR versione 5.30.0 e successive (eccetto Amazon EMR 6.0.0), puoi crittografare i file di log archiviati in Amazon S3 con una chiave gestita dal cliente KMS. AWS Per abilitare questa opzione nella console, segui le fasi in Archiviazione di file di log in Amazon S3. Il profilo dell'istanza Amazon EC2 e il ruolo Amazon EMR devono soddisfare i seguenti prerequisiti:

• Il profilo dell'istanza Amazon EC2 utilizzato per il cluster deve disporre dell'autorizzazione per utilizzare kms:GenerateDataKey.

• Il ruolo Amazon EMR utilizzato per il cluster deve disporre dell'autorizzazione per utilizzare kms:DescribeKey.

• Il profilo dell'istanza Amazon EC2 e il ruolo Amazon EMR devono essere aggiunti all'elenco degli utenti chiave per la chiave gestita dal cliente AWS KMS specificata, come dimostrano i seguenti passaggi:

  1. Apri la console AWS Key Management Service (AWS KMS) all'indirizzo https://console.aws.amazon.com/kms.

  2. Per cambiare la AWS regione, usa il selettore della regione nell'angolo superiore destro della pagina.

  3. Seleziona l'alias della chiave KMS da modificare.

  4. Nella pagina dei dettagli della chiave, in Key Users (Utenti di chiavi), scegli Add (Aggiungi).

  5. Nella finestra di dialogo Add key users (Aggiungi utenti delle chiavi), seleziona il profilo dell'istanza Amazon EC2 e il ruolo Amazon EMR.

  6. Scegli Aggiungi.

Per ulteriori informazioni, consulta i ruoli del servizio IAM utilizzati da Amazon EMR e Utilizzo delle politiche chiave nella guida per sviluppatori di AWS Key Management Service.

Aggregazione di log in Amazon S3 mediante la AWS CLI

Nota

Non è al momento possibile utilizzare l'aggregazione dei log con l'utility yarn logs. È possibile utilizzare soltanto l'aggregazione supportata da questa procedura.

L'aggregazione di log (Hadoop 2.x) compila i log di tutti i container di una singola applicazione in un unico file. Per abilitare l'aggregazione dei log su Amazon S3 utilizzando AWS CLI il, è necessario utilizzare un'azione bootstrap all'avvio del cluster per abilitare l'aggregazione dei log e specificare il bucket in cui archiviare i log.

• Per abilitare l'aggregazione di log, crea il file di configurazione denominato myConfig.json, che contiene quanto segue:

  [
    {
      "Classification": "yarn-site",
      "Properties": {
        "yarn.log-aggregation-enable": "true",
        "yarn.log-aggregation.retain-seconds": "-1",
        "yarn.nodemanager.remote-app-log-dir": "s3:\/\/DOC-EXAMPLE-BUCKET\/logs"
      }
    }
  ]

  Digita il comando seguente e sostituisci myKey con il nome della coppia di chiavi EC2. Puoi inoltre sostituire il testo in rosso con le configurazioni desiderate.

  aws emr create-cluster --name "Test cluster" \
  --release-label emr-7.1.0 \
  --applications Name=Hadoop \
  --use-default-roles \
  --ec2-attributes KeyName=myKey \
  --instance-type m5.xlarge \
  --instance-count 3 \
  --configurations file://./myConfig.json

  Quando si specifica il numero di istanze senza utilizzare il parametro --instance-groups, viene avviato un singolo nodo primario e le istanze rimanenti vengono avviate come nodi core. Tutti i nodi utilizzeranno il tipo di istanza specificato nel comando.

  Nota

  Se in precedenza non sono stati creati il ruolo di servizio EMR predefinito e il profilo dell'istanza EC2, esegui aws emr create-default-roles per crearli prima di eseguire il sottocomando create-cluster.

Per ulteriori informazioni sull'utilizzo dei comandi Amazon EMR in AWS CLI, consulta AWS CLI Command Reference.

Posizione dei log

L'elenco seguente include tutti i tipi di log e le relative posizioni in Amazon S3. Puoi utilizzarli per risolvere i problemi di Amazon EMR.

Log delle fasi

s3://DOC-EXAMPLE-LOG-BUCKET/<cluster-id>/steps/<step-id>/

Log di applicazioni

s3://DOC-EXAMPLE-LOG-BUCKET/<cluster-id>/containers/

Questa posizione include i log del container stderr e stdout, directory.info, prelaunch.out e launch_container.sh.

Log del gestore delle risorse

s3://DOC-EXAMPLE-LOG-BUCKET/<cluster-id>/node/<leader-instance-id>/applications/hadoop-yarn/

Hadoop HDFS

s3://DOC-EXAMPLE-LOG-BUCKET/<cluster-id>/node/<all-instance-id>/applications/hadoop-hdfs/

Questa posizione include NameNode DataNode, e i log YARN. TimelineServer

Log del gestore dei nodi

s3://DOC-EXAMPLE-LOG-BUCKET/<cluster-id>/node/<all-instance-id>/applications/hadoop-yarn/

Log degli stati istanza

s3://DOC-EXAMPLE-LOG-BUCKET/<cluster-id>/node/<all-instance-id>/daemons/instance-state/

Log di provisioning di Amazon EMR

s3://DOC-EXAMPLE-LOG-BUCKET/<cluster-id>/node/<leader-instance-id>/provision-node/*

Log Hive

s3://DOC-EXAMPLE-LOG-BUCKET/<cluster-id>/node/<leader-instance-id>/applications/hive/*

• Per trovare i log di Hive sul tuo cluster, rimuovi l'asterisco (*) e aggiungi /var/log/hive/ al link precedente.

• Per trovare HiveServer 2 log, rimuovi l'asterisco (*) e var/log/hive/hiveserver2.log aggiungilo al link precedente.

• Per trovare i log HiveCLI, rimuovi l'asterisco (*) e aggiungi /var/log/hive/user/hadoop/hive.log al link precedente.

• Per trovare i log di Hive Metastore Server, rimuovi l'asterisco (*) e aggiungi /var/log/hive/user/hive/hive.log al link precedente.

Se l'errore si trova nel nodo primario o nel nodo attività dell'applicazione Tez, fornisci i log del container Hadoop appropriato.