Configurazione del logging e del debug dei cluster Amazon EMR

Quando pianifichi il cluster, devi determinare la quantità di supporto di debug che vuoi rendere disponibile. Durante lo sviluppo iniziale dell'applicazione di elaborazione dati, ti consigliamo di testare l'applicazione su un cluster che elabora un piccolo, ma rappresentativo, sottoinsieme dei tuoi dati. È probabile che per eseguire questa operazione tu intenda utilizzare tutti gli strumenti di debug forniti da Amazon EMR, come l'archiviazione dei file di log in Amazon S3.

Una volta terminata la fase di sviluppo dell'applicazione di elaborazione dati e avviata quella di produzione, puoi scegliere di ridurre il debug. In questo modo, azzeri il costo relativo all'archiviazione degli archivi di file di log in Amazon S3 e riduci il carico di elaborazione sul cluster in quanto non è più necessario scrivere lo stato su Amazon S3. L'inconveniente di questa scelta è che in caso di problemi avrai a disposizione un minor numero di strumenti per gestirli.

File di log di default

Per impostazione predefinita, ogni cluster scrive file di log sul nodo primario. Questi file sono scritti nella directory /mnt/var/log/. Puoi accedervi utilizzando SSH per la connessione al nodo primario come descritto in Connect al nodo primario del cluster Amazon EMR tramite SSH. Amazon EMR raccoglie determinati log di sistema e applicazioni generati dai daemon Amazon EMR e da altri processi Amazon EMR per garantire operazioni di servizio efficaci.

Nota

Se utilizzi Amazon EMR versione 6.8.0 o precedenti, i file di log vengono salvati in Amazon S3 durante la terminazione del cluster, quindi non puoi accedere ai file di log una volta terminato il nodo primario. Amazon EMR versione 6.9.0 e successive archiviano i log in Amazon S3 durante la riduzione del cluster, cosicché i file di log generati sul cluster persistono anche dopo la terminazione del nodo.

Non è necessario attivare alcuna opzione affinché i file di log siano scritti sul nodo primario. In effetti, questo è il comportamento predefinito di Amazon EMR e Hadoop.

Un cluster genera vari tipi di file di log, tra cui:

• Step logs (Log di fase): questi log sono generati dal servizio Amazon EMR e contengono informazioni sul cluster e i risultati di ogni fase. I file di log sono archiviati nella directory /mnt/var/log/hadoop/steps/ nel nodo primario. Ogni fase registra i risultati a essa relativi in una sottodirectory numerata distinta: /mnt/var/log/hadoop/steps/s-stepId1/ per la prima fase, /mnt/var/log/hadoop/steps/s-stepId2/, per la seconda e così via. Gli identificatori di fase a 13 caratteri (ad esempio stepId1, stepId2) sono esclusivi di un cluster.

• Registri dei componenti Hadoop e YARN: i log dei componenti associati sia ad Apache YARN che, ad esempio, sono contenuti in cartelle separate in. MapReduce /mnt/var/log Le posizioni dei file di log per i componenti Hadoop in /mnt/var/log sono le seguenti: hadoop-hdfs, hadoop-mapreduce, hadoop-httpfs e hadoop-yarn. La hadoop-state-pusher directory serve per l'output del processo Hadoop state pusher.

• Bootstrap action logs (Log delle operazioni di bootstrap): se il processo utilizza operazioni di bootstrap, i risultati di queste operazioni sono registrati. I file di registro sono memorizzati in/mnt/var/log/bootstrap-actions/ sul nodo primario. Ogni operazione di bootstrap registra i risultati a essa relativi in una sottodirectory numerata distinta: /mnt/var/log/bootstrap-actions/1/ per la prima operazione di bootstrap, /mnt/var/log/bootstrap-actions/2/ per la seconda e così via.

• Instance state logs (Log di stato dell'istanza): forniscono informazioni su CPU, stato della memoria e thread del garbage collector del nodo. I file di log sono archiviati in /mnt/var/log/instance-state/ nel nodo primario.

Archiviazione di file di log in Amazon S3

Nota

Non è al momento possibile utilizzare l'aggregazione dei log in Amazon S3 con l'utility yarn logs.

Amazon EMR rilascio 6.9.0 e successivi archiviano i log in Amazon S3 durante la riduzione del cluster, cosicché i file di log generati sul cluster persistono anche dopo la terminazione del nodo. Questo comportamento è abilitato automaticamente, quindi non devi fare nulla per attivarlo. Per Amazon EMR rilascio 6.8.0 e precedenti, è possibile configurare un cluster per archiviare periodicamente i file di log presenti nel nodo primario in Amazon S3. In questo modo, i file di log saranno disponibili anche dopo la terminazione del cluster, indipendentemente dalla causa della stessa (arresto normale, errore, ecc.). Amazon EMR archivia i file di log in Amazon S3 ogni 5 minuti.

Per Amazon EMR rilascio 6.8.0 e successivi, per archiviare i file di log in Amazon S3 devi abilitare tale caratteristica all'avvio del cluster. Puoi eseguire tale operazione mediante la console, la CLI o l'API. Per impostazione predefinita, l'archiviazione dei log è abilitata per i cluster avviati utilizzando la console. Per i cluster avviati mediante la CLI o l'API, la registrazione in Amazon S3 deve essere abilitata manualmente.

Console

Archiviazione dei file di log in Amazon S3 con la nuova console

1. Accedi a e apri AWS Management Console la console Amazon EMR su https://console.aws.amazon.com /emr.

2. In EMR attivo EC2 nel riquadro di navigazione a sinistra, scegli Cluster, quindi scegli Crea cluster.

3. In Cluster logs (Log del cluster), seleziona la casella di controllo Publish cluster-specific logs to Amazon S3 (Pubblica log specifici del cluster su Amazon S3).

4. Nel campo Amazon S3 location (Posizione Amazon S3), digita o cerca il percorso Amazon S3 in cui archiviare i log. Se digiti il nome di una cartella che non esiste nel bucket, Amazon S3 crea tale cartella.

   Quando imposti questo valore, Amazon EMR copia i file di log dalle EC2 istanze del cluster su Amazon S3. In questo modo si evita la perdita dei file di log alla chiusura del cluster e si EC2 interrompono le istanze che ospitano il cluster. Questi log sono utili per la risoluzione dei problemi. Per ulteriori informazioni, consulta Visualizzazione dei file di log.

5. Facoltativamente, seleziona la casella di controllo Encrypt cluster-specific logs (Crittografa log specifici del cluster). Quindi, seleziona una AWS KMS chiave dall'elenco, inserisci un ARN della chiave o crea una nuova chiave. Questa opzione è disponibile solo con Amazon EMR versione 5.30.0 e successive, esclusa la versione 6.0.0. Per utilizzare questa opzione, aggiungi l'autorizzazione al AWS KMS profilo dell' EC2istanza e al ruolo Amazon EMR. Per ulteriori informazioni, consulta Crittografia dei file di log archiviati in Amazon S3 con una chiave gestita dal cliente di AWS KMS.

6. Scegli qualsiasi altra opzione applicabile al cluster.

7. Per avviare il cluster, scegli Create cluster (Crea cluster).

CLI

Per archiviare i file di registro su Amazon S3 con AWS CLI

Per archiviare i file di log su Amazon S3 utilizzando AWS CLI, digita il create-cluster comando e specifica il percorso di log di Amazon S3 utilizzando il parametro. --log-uri

1. Per registrare i file su Amazon S3, digita il seguente comando e sostituiscilo myKey con il nome della tua coppia di EC2 chiavi.

   aws emr create-cluster --name "Test cluster" --release-label emr-7.7.0 --log-uri s3://DOC-EXAMPLE-BUCKET/logs --applications Name=Hadoop Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey --instance-type m5.xlarge --instance-count 3

2. Quando si specifica il numero di istanze senza utilizzare il parametro --instance-groups, viene avviato un singolo nodo primario e le istanze rimanenti vengono avviate come nodi core. Tutti i nodi utilizzeranno il tipo di istanza specificato nel comando.

   Nota

   Se in precedenza non hai creato il ruolo e il profilo di EC2 istanza del servizio Amazon EMR predefiniti, inserisci aws emr create-default-roles per crearli prima di digitare il sottocomando. create-cluster

Crittografia dei file di log archiviati in Amazon S3 con una chiave gestita dal cliente di AWS KMS

Con Amazon EMR versione 5.30.0 e successive (eccetto Amazon EMR 6.0.0), puoi crittografare i file di log archiviati in Amazon S3 con una chiave gestita dal cliente KMS. AWS Per abilitare questa opzione nella console, segui le fasi in Archiviazione di file di log in Amazon S3. Il tuo profilo di EC2 istanza Amazon e il tuo ruolo Amazon EMR devono soddisfare i seguenti prerequisiti:

• Il profilo di EC2 istanza Amazon utilizzato per il tuo cluster deve essere autorizzato all'usokms:GenerateDataKey.

• Il ruolo Amazon EMR utilizzato per il cluster deve disporre dell'autorizzazione per utilizzare kms:DescribeKey.

• Il profilo dell' EC2 istanza Amazon e il ruolo Amazon EMR devono essere aggiunti all'elenco degli utenti chiave per la chiave gestita dal cliente AWS KMS specificata, come dimostrano i seguenti passaggi:

  1. Apri la console AWS Key Management Service (AWS KMS) in /kms. https://console.aws.amazon.com

  2. Per cambiare la AWS regione, usa il selettore della regione nell'angolo in alto a destra della pagina.

  3. Seleziona l'alias della chiave KMS da modificare.

  4. Nella pagina dei dettagli della chiave, in Key Users (Utenti di chiavi), scegli Add (Aggiungi).

  5. Nella finestra di dialogo Aggiungi utenti chiave, seleziona il tuo profilo di EC2 istanza Amazon e il ruolo Amazon EMR.

  6. Scegli Aggiungi.

Per ulteriori informazioni, consulta i ruoli del servizio IAM utilizzati da Amazon EMR e Utilizzo delle politiche chiave nella guida per sviluppatori di AWS Key Management Service.

Aggregazione di log in Amazon S3 mediante la AWS CLI

Nota

Non è al momento possibile utilizzare l'aggregazione dei log con l'utility yarn logs. È possibile utilizzare soltanto l'aggregazione supportata da questa procedura.

L'aggregazione di log (Hadoop 2.x) compila i log di tutti i container di una singola applicazione in un unico file. Per abilitare l'aggregazione dei log su Amazon S3 utilizzando AWS CLI il, è necessario utilizzare un'azione bootstrap all'avvio del cluster per abilitare l'aggregazione dei log e specificare il bucket in cui archiviare i log.

• Per abilitare l'aggregazione di log, crea il file di configurazione denominato myConfig.json, che contiene quanto segue:

  [
    {
      "Classification": "yarn-site",
      "Properties": {
        "yarn.log-aggregation-enable": "true",
        "yarn.log-aggregation.retain-seconds": "-1",
        "yarn.nodemanager.remote-app-log-dir": "s3:\/\/DOC-EXAMPLE-BUCKET\/logs"
      }
    }
  ]

  Digita il comando seguente e myKey sostituiscilo con il nome della tua EC2 key pair. Puoi inoltre sostituire il testo in rosso con le configurazioni desiderate.

  aws emr create-cluster --name "Test cluster" \
  --release-label emr-7.7.0 \
  --applications Name=Hadoop \
  --use-default-roles \
  --ec2-attributes KeyName=myKey \
  --instance-type m5.xlarge \
  --instance-count 3 \
  --configurations file://./myConfig.json

  Quando si specifica il numero di istanze senza utilizzare il parametro --instance-groups, viene avviato un singolo nodo primario e le istanze rimanenti vengono avviate come nodi core. Tutti i nodi utilizzeranno il tipo di istanza specificato nel comando.

  Nota

  Se in precedenza non sono stati creati il ruolo e il profilo di EC2 istanza del servizio EMR predefiniti, esegui aws emr create-default-roles per crearli prima di eseguire il create-cluster sottocomando.

Per ulteriori informazioni sull'utilizzo dei comandi Amazon EMR in AWS CLI, consulta AWS CLI Command Reference.

Posizione dei log

L'elenco seguente include tutti i tipi di log e le relative posizioni in Amazon S3. Puoi utilizzarli per risolvere i problemi di Amazon EMR.

Log delle fasi

s3://DOC-EXAMPLE-LOG-BUCKET/<cluster-id>/steps/<step-id>/

Log di applicazioni

s3://DOC-EXAMPLE-LOG-BUCKET/<cluster-id>/containers/

Questa posizione include i log del container stderr e stdout, directory.info, prelaunch.out e launch_container.sh.

Log del gestore delle risorse

s3://DOC-EXAMPLE-LOG-BUCKET/<cluster-id>/node/<leader-instance-id>/applications/hadoop-yarn/

Hadoop HDFS

s3://DOC-EXAMPLE-LOG-BUCKET/<cluster-id>/node/<all-instance-id>/applications/hadoop-hdfs/

Questa posizione include NameNode DataNode, e i log YARN. TimelineServer

Log del gestore dei nodi

s3://DOC-EXAMPLE-LOG-BUCKET/<cluster-id>/node/<all-instance-id>/applications/hadoop-yarn/

Log degli stati istanza

s3://DOC-EXAMPLE-LOG-BUCKET/<cluster-id>/node/<all-instance-id>/daemons/instance-state/

Log di provisioning di Amazon EMR

s3://DOC-EXAMPLE-LOG-BUCKET/<cluster-id>/node/<leader-instance-id>/provision-node/*

Log Hive

s3://DOC-EXAMPLE-LOG-BUCKET/<cluster-id>/node/<leader-instance-id>/applications/hive/*

• Per trovare i log di Hive sul tuo cluster, rimuovi l'asterisco (*) e aggiungi /var/log/hive/ al link precedente.

• Per trovare HiveServer 2 log, rimuovi l'asterisco (*) e var/log/hive/hiveserver2.log aggiungilo al link precedente.

• Per trovare i log HiveCLI, rimuovi l'asterisco (*) e aggiungi /var/log/hive/user/hadoop/hive.log al link precedente.

• Per trovare i log di Hive Metastore Server, rimuovi l'asterisco (*) e aggiungi /var/log/hive/user/hive/hive.log al link precedente.

Se l'errore si trova nel nodo primario o nel nodo attività dell'applicazione Tez, fornisci i log del container Hadoop appropriato.