Visualizza i file di log di Amazon EMR

Amazon EMR e Hadoop producono entrambi file di log che comunicano lo stato sul cluster. Per impostazione predefinita, questi file vengono scritti nel nodo primario nella directory /mnt/var/log/. A seconda di come il cluster è stato configurato quando è stato avviato, questi log possono anche essere archiviati in Amazon S3 ed essere visualizzati tramite lo strumento di debug grafico.

Esistono molti tipi di log scritti nel nodo primario. Amazon EMR scrive log di stato della fase, dell'operazione di bootstrap e dell'istanza. Apache Hadoop scrive i log per comunicare l'elaborazione di processi, attività e tentativi di attività. Hadoop registra inoltre i log dei suoi daemon. Per ulteriori informazioni sui log scritti da Hadoop, vai a http://hadoop.apache. org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html.

Visualizzazione di file di log sul nodo primario

Nella tabella seguente vengono elencati alcuni dei file di log che si trovano sul nodo primario.

Ubicazione	Descrizione
/emr/instance-controller/log/bootstrap-azioni	Log scritti durante l'elaborazione delle operazioni di bootstrap.
/-state-pusher mnt/var/log/hadoop	Log scritti dal processo pusher dello stato di Hadoop.
/emr/instance-controller/log	Log del controller istanze.
/emr/instance-state	Log degli stati istanza. Contengono informazioni su CPU, stato della memoria e thread del garbage collector del nodo.
/emr/service-nanny	Log scritti dal processo nanny del servizio.
/mnt/var/log/application	Log specifici di un'applicazione, ad esempio Hadoop, Spark, o Hive.
/mnt/var/log/hadoop/steps/N	Log di fase contenenti informazioni sull'elaborazione della fase. Il valore di N indica lo StepiD assegnato da Amazon EMR. Ad esempio, un cluster ha due fasi: s-1234ABCDEFGH e s-5678IJKLMNOP. La prima fase si trova in /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ e la seconda in /mnt/var/log/hadoop/steps/s-5678IJKLMNOP/. I log di fase scritti da Amazon EMR sono i seguenti. controller: informazioni sull'elaborazione della fase. Se la fase ha esito negativo durante il caricamento, puoi trovare la traccia di stack in questo log. syslog: descrive l'esecuzione dei processi Hadoop nella fase. stderr: il canale di errore standard di Hadoop durante l'elaborazione della fase. stdout: il canale di uscita standard di Hadoop durante l'elaborazione della fase.

Visualizzazione dei file di log sul nodo primario con la AWS CLI.

1. Utilizza SSH per connetterti al nodo primario come descritto in Connect al nodo primario del cluster Amazon EMR tramite SSH.

2. Passare alla directory contenente le informazioni sul file di log che si desidera visualizzare. La tabella precedente fornisce un elenco dei tipi di file di log che sono disponibili e dove è possibile trovarli. L'esempio seguente mostra il comando per passare al log della fase con un ID, s-1234ABCDEFGH.

   cd /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/

3. Utilizzare un visualizzatore file preferito per visualizzare il file di log. L'esempio seguente utilizza il comando less Linux per visualizzare i file di log controller.

   less controller

Visualizzazione dei file di log archiviati in Amazon S3

Per impostazione predefinita, i cluster Amazon EMR avviati utilizzando la console archiviano automaticamente i file di log in Amazon S3. Puoi specificare il tuo percorso dei log, oppure consentire alla console di generare automaticamente un percorso dei log per te. Per cluster avviati utilizzando la CLI o l'API, occorre configurare l'archiviazione dei log Amazon S3 manualmente.

Quando Amazon EMR è configurato per archiviare i file di log su Amazon S3, archivia i file nella posizione S3 specificata, nella cartellacluster-id//, cluster-id dove si trova l'ID del cluster.

Nella tabella seguente vengono elencati alcuni dei file di log che si trovano su Amazon S3.

Ubicazione	Descrizione
//nodo/ cluster-id	Log dei nodi, inclusi log di operazioni di bootstrap, stato istanza e applicazioni per il nodo. I log di ogni nodo sono archiviati in una cartella etichettata con l'identificatore dell'istanza di quel nodo. EC2
//nodo//cluster-idinstance-idapplication	I log creati da ogni applicazione o daemon associato a un'applicazione. Ad esempio, il log del server Hive si trova in cluster-id/node/instance-id/hive/hive-server.log.
//passi//cluster-idstep-id	Log di fase contenenti informazioni sull'elaborazione della fase. Il valore di step-id indica l'ID della fase assegnato da Amazon EMR. Ad esempio, un cluster ha due fasi: s-1234ABCDEFGH e s-5678IJKLMNOP. La prima fase si trova in /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ e la seconda in /mnt/var/log/hadoop/steps/s-5678IJKLMNOP/. I log di fase scritti da Amazon EMR sono i seguenti. controller: informazioni sull'elaborazione della fase. Se la fase ha esito negativo durante il caricamento, puoi trovare la traccia di stack in questo log. syslog: descrive l'esecuzione dei processi Hadoop nella fase. stderr: il canale di errore standard di Hadoop durante l'elaborazione della fase. stdout: il canale di uscita standard di Hadoop durante l'elaborazione della fase.
//container cluster-id	Log del container applicazioni. I log per ogni applicazione YARN vengono salvati in queste posizioni.
//hadoop-mapreduce/ cluster-id	I registri che contengono informazioni sui dettagli di configurazione e sulla cronologia dei lavori. MapReduce

Visualizzazione dei file di log archiviati in Amazon S3 con la console Amazon S3

1. Accedi a AWS Management Console e apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Apri il bucket S3 specificato quando hai configurato il cluster per archiviare i file di log in Amazon S3.

3. Passare al file di log contenente le informazioni da visualizzare. La tabella precedente fornisce un elenco dei tipi di file di log che sono disponibili e dove è possibile trovarli.

4. Scarica l'oggetto file di log per visualizzarlo. Per istruzioni, consulta Download di un oggetto.