Visualizzare file di log di

Amazon EMR e Hadoop producono entrambi file di log che comunicano lo stato sul cluster. Per impostazione predefinita, questi vengono scritti nel nodo primario in/mnt/var/log/elenco. A seconda di come il cluster è stato configurato quando è stato avviato, questi log possono anche essere archiviati in Amazon S3 ed essere visualizzati tramite lo strumento di debug grafico.

Esistono molti tipi di log scritti nel nodo primario. Amazon EMR scrive log di stato della fase, dell'operazione di bootstrap e dell'istanza. Apache Hadoop scrive i log per comunicare l'elaborazione di processi, attività e tentativi di attività. Hadoop registra inoltre i log dei suoi daemon. Per ulteriori informazioni sui log scritti da Hadoop, visitahttp://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html.

Visualizzazione di file di log sul nodo primario

Nella tabella seguente vengono elencati alcuni dei file di log che si trovano sul nodo primario.

Ubicazione	Descrizione
/emr/instance-controller/log/bootstrap-actions	Log scritti durante l'elaborazione delle operazioni di bootstrap.
/mnt/var/log/hadoop-state-pusher	Log scritti dal processo pusher dello stato di Hadoop.
/emr/instance-controller/log	Log del controller istanze.
/emr/instance-state	Log degli stati istanza. Contengono informazioni su CPU, stato della memoria e thread del garbage collector del nodo.
/emr/service-nanny	Log scritti dal processo nanny del servizio.
/mnt/var/log/application	Log specifici di un'applicazione, ad esempio Hadoop, Spark, o Hive.
/mnt/var/log/hadoop/steps/N	Log di fase contenenti informazioni sull'elaborazione della fase. Il valore di N indica lo stepId assegnato da Amazon EMR. Ad esempio, un cluster ha due fasi: s-1234ABCDEFGH e s-5678IJKLMNOP. La prima fase si trova in /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ e la seconda in /mnt/var/log/hadoop/steps/s-5678IJKLMNOP/. I log di fase scritti da Amazon EMR sono i seguenti. controller: informazioni sull'elaborazione della fase. Se la fase ha esito negativo durante il caricamento, puoi trovare la traccia di stack in questo log. syslog: descrive l'esecuzione dei processi Hadoop nella fase. stderr: il canale di errore standard di Hadoop durante l'elaborazione della fase. stdout: il canale di uscita standard di Hadoop durante l'elaborazione della fase.

Visualizzazione dei file di log sul nodo primario con la AWS CLI.

1. Usa SSH per connetterti al nodo primario come descritto inConnessione al nodo primario tramite SSH.

2. Passare alla directory contenente le informazioni sul file di log che si desidera visualizzare. La tabella precedente fornisce un elenco dei tipi di file di log che sono disponibili e dove è possibile trovarli. L'esempio seguente mostra il comando per passare al log della fase con un ID, s-1234ABCDEFGH.

   cd /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/

3. Utilizzare un visualizzatore file preferito per visualizzare il file di log. L'esempio seguente utilizza il comando less Linux per visualizzare i file di log controller.

   less controller

Visualizzazione dei file di log archiviati in Amazon S3

Per impostazione predefinita, i cluster Amazon EMR avviati utilizzando la console archiviano automaticamente i file di log in Amazon S3. Puoi specificare il tuo percorso dei log, oppure consentire alla console di generare automaticamente un percorso dei log per te. Per cluster avviati utilizzando la CLI o l'API, occorre configurare l'archiviazione dei log Amazon S3 manualmente.

Quando Amazon EMR è configurato per archiviare i file di log in Amazon S3, i file vengono archiviati nel percorso S3 specificato, nella cartella /cluster-id/, dove cluster-id è l'ID del cluster.

Nella tabella seguente vengono elencati alcuni dei file di log che si trovano su Amazon S3.

Ubicazione	Descrizione
/cluster-id/node/	Log dei nodi, inclusi log di operazioni di bootstrap, stato istanza e applicazioni per il nodo. I log per ogni nodo vengono archiviati in una cartella etichettata con l'identificatore dell'istanza EC2 di tale nodo.
/cluster-id/node/instance-id/application	I log creati da ogni applicazione o daemon associato a un'applicazione. Ad esempio, il log del server Hive si trova in cluster-id/node/instance-id/hive/hive-server.log.
/cluster-id/steps/step-id/	Log di fase contenenti informazioni sull'elaborazione della fase. Il valore di step-id indica l'ID di fase assegnato da Amazon EMR. Ad esempio, un cluster ha due fasi: s-1234ABCDEFGH e s-5678IJKLMNOP. La prima fase si trova in /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ e la seconda in /mnt/var/log/hadoop/steps/s-5678IJKLMNOP/. I log di fase scritti da Amazon EMR sono i seguenti. controller: informazioni sull'elaborazione della fase. Se la fase ha esito negativo durante il caricamento, puoi trovare la traccia di stack in questo log. syslog: descrive l'esecuzione dei processi Hadoop nella fase. stderr: il canale di errore standard di Hadoop durante l'elaborazione della fase. stdout: il canale di uscita standard di Hadoop durante l'elaborazione della fase.
/cluster-id/containers	Log del container applicazioni. I log per ogni applicazione YARN vengono salvati in queste posizioni.
/cluster-id/hadoop-mapreduce/	I registri che contengono informazioni sui dettagli della configurazione e sulla cronologia dei lavori diMapReducelavori.

Visualizzazione dei file di log archiviati in Amazon S3 con la console Amazon S3

1. Accedi alla AWS Management Console e apri la console Amazon S3 all'indirizzo https://console.aws.amazon.com/s3/.

2. Apri il bucket S3 specificato quando hai configurato il cluster per archiviare i file di log in Amazon S3.

3. Passare al file di log contenente le informazioni da visualizzare. La tabella precedente fornisce un elenco dei tipi di file di log che sono disponibili e dove è possibile trovarli.

4. Scarica l'oggetto file di log per visualizzarlo. Per istruzioni, consulta Download di un oggetto.

Visualizzazione dei file di log nello strumento di debug

Amazon EMR non abilita automaticamente lo strumento di debug. che deve essere configurato quando si avvia il cluster. Tieni presente che la nuova console Amazon EMR non offre lo strumento di debug.

Visualizzazione dei log del cluster con la vecchia console

1. Accedi alla nuova console Amazon EMR e selezionaPassa alla vecchia consoledalla navigazione laterale. Per ulteriori informazioni su cosa aspettarsi quando si passa alla vecchia console, consultaUtilizzo della vecchia console.

2. Dalla pagina Cluster List (Elenco dei cluster), seleziona l'icona dei dettagli accanto al cluster che desideri visualizzare.

   In questo modo si apre la pagina Cluster Details (Dettagli del cluster). Nella sezione Steps (Fasi), i collegamenti a destra di ogni fase visualizzano i vari tipi di log disponibili per la fase. Questi log sono generati da Amazon EMR.

3. Per visualizzare un elenco dei processi Hadoop associati a una determinata fase, seleziona il collegamento View Jobs (Visualizza processi) a destra della fase.

4. Per visualizzare un elenco delle attività Hadoop associate a un determinato processo, seleziona il collegamento View Tasks (Visualizza attività) a destra del processo.

5. Per visualizzare un elenco dei tentativi effettuati per completare una determinata attività, seleziona la casella di controllo View Attempts (Visualizza tentativi) a destra dell'attività.

6. Per visualizzare i log generati da un tentativo di attività, seleziona la casella di controllo stderr, stdout e syslog a destra del tentativo di attività.

Lo strumento di debug visualizza i collegamenti ai file di log dopo che questi vengono caricati da Amazon EMR nel bucket su Amazon S3. Poiché i file di log vengono caricati in Amazon S3 ogni 5 minuti, il caricamento dei file di log può richiedere alcuni minuti dopo che la fase è stata terminata.

Amazon EMR aggiorna periodicamente lo stato di processi Hadoop, attività e tentativi di attività nello strumento di debug. Puoi fare clicAggiorna elenconei riquadri di debug per ottenere il massimoup-to-datestato di questi articoli.