Monitoraggio HealthOmics con CloudWatch registri

HealthOmics genera una serie di registri per aiutarti a comprendere e risolvere i problemi delle tue esecuzioni. I log sono disponibili in due posizioni: CloudWatch e in Amazon S3.

Per impostazione predefinita, la registrazione delle esecuzioni è attivata. Facoltativamente, puoi disattivare la registrazione di un'esecuzione LogLevel = OFF impostando la richiesta. startrun

Nota

Per gli aggiornamenti del servizio, configura e monitora la tua Personal Health Dashboard. Per ulteriori informazioni su come gestire la dashboard, consulta Getting started with your AWS Health Dashboard.

Tipi di log per i flussi HealthOmics di lavoro

HealthOmics fornisce i seguenti tipi di log per i flussi di lavoro:

• Registri del motore: i motori di flusso di lavoro sottostanti (Nextflow, WDL e CWL) producono registri del motore per le esecuzioni. Questi registri possono aiutarti a risolvere i problemi di definizione del flusso di lavoro.

• Registri del manifesto di esecuzione: questi registri forniscono informazioni di alto livello su ogni attività in esecuzione, ad esempio lo stato dell'attività, l'ora di inizio, l'ora di fine e il motivo dell'errore (se l'attività non è riuscita).

  I registri del manifesto di esecuzione riportano anche statistiche sull'utilizzo delle risorse che possono essere utili per comprendere le opportunità di ottimizzazione delle risorse. Queste statistiche includono:

  • Media delle CPU

  • Numero massimo di CPU

  • CPU riservate

  • GPU riservate

  • memoryAverageGiB

  • memoryMaximumGiB

  • memoryReservedGiB

  • Secondi di esecuzione

• Registri di esecuzione: i registri di esecuzione forniscono lo stato di esecuzione generale e l'ora in cui le singole attività vengono avviate, eseguite, interrotte e completate. I registri di esecuzione offrono inoltre visibilità sulle fasi di importazione ed esportazione dei file.

• Registri delle attività: i registri delle attività forniscono informazioni di registrazione dettagliate sulle singole attività eseguite. Gli output nel registro delle attività dipendono dalla definizione dell'attività e dalla posizione in cui vengono utilizzate le istruzioni di registro nel codice. Se i registri delle attività non forniscono il livello di informazioni di cui hai bisogno, prendi in considerazione l'aggiunta di istruzioni di registro aggiuntive alla definizione delle attività per produrre registri delle attività più approfonditi.

• Esegui i registri della cache: i registri della cache di esecuzione forniscono lo stato generale delle cache di esecuzione e della memorizzazione nella cache degli output delle attività. I log della cache di esecuzione offrono visibilità sugli accessi e sugli errori della cache per ogni esecuzione che utilizza la memorizzazione nella cache.

• Outputs.json: per i flussi di lavoro WDL e CWL, HealthOmics fornisce un file generato dal motore, denominato, outputs.json al bucket Amazon S3 dopo il completamento dell'esecuzione. Questo file include un elenco e una mappa di tutti gli output per l'esecuzione.

Effettua il login CloudWatch

È possibile trovare i registri del HealthOmics CloudWatch flusso di lavoro nel seguente gruppo di registri:. /aws/omics/WorkflowLog Inoltre, l'output dell'operazione API get-run fornisce il flusso di registro ARNs per i CloudWatch log del motore e i log di esecuzione.

Per impostazione predefinita, AWS conserva i log a tempo indeterminato. CloudWatch È possibile modificare la politica di conservazione per il gruppo di log in modo da impostare un periodo di conservazione compreso tra 10 anni e un giorno.

La tabella seguente fornisce un riepilogo degli CloudWatch accessi. HealthOmics

Nome log	Disponibile in Logs CloudWatch	Quando è disponibile il registro	Formato del flusso di registro
Registri del motore	Sì, per le esecuzioni non riuscite	Al termine dell'esecuzione	run/ /engine runID
Esegui i registri del manifesto	Sì	Al termine dell'esecuzione	runIDmanifest/esegui//runUUID
Registri di esecuzione	Sì	In tempo reale	esegui/ runID
Registri delle attività	Sì	In tempo reale	esegui/ /task/ runID taskID
Esegui i log della cache	Sì	In tempo reale	Esegui Cache//runCacheIdrunCacheUUID
Outputs.json (WDL e CWL)	No	N/A	n/a

Accedere ad Amazon S3

Al termine di un'esecuzione, i log del motore vengono inviati al bucket S3 e sono disponibili a tempo indeterminato fino a quando non vengono eliminati. Questi log si trovano nella directory logs dell'URI di output S3 che hai specificato per il flusso di lavoro.

Il percorso della directory logs ha il seguente formato:. s3://{user_provided_path}/logs/

La tabella seguente fornisce un riepilogo dei HealthOmics log disponibili nel bucket Amazon S3.

Nome log	Disponibile in Amazon S3	Quando è disponibile il registro	Percorso del flusso di log
Registri del motore	Sì	Al termine dell'esecuzione	s3:///logs/engine.log user_provided_path
Outputs.json (WDL e CWL)	Sì	Al termine dell'esecuzione	s3://user_provided_path/runID/logs/outputs.json runUUID
Esegui i registri del manifesto, i registri delle esecuzioni e i registri delle attività	No	N/A	n/a

CloudWatch Log interattivi nella CLI

È possibile visualizzare i CloudWatch log in modo interattivo utilizzando il comando Live Tail in modalità interattiva. Puoi monitorare l'avanzamento della corsa in tempo reale e definire fino a 5 parole chiave da evidenziare nei log:

aws logs start-live-tail  \
  --mode interactive  \
  --log-group-identifiers arn:aws:logs:region:account-ID:log-group:/aws/omics/WorkflowLog       

Per ulteriori informazioni, consulta Start live tail nel AWS CLI Command Reference.

Accesso ai CloudWatch log dalla console

Per accedere ai log di un'esecuzione, puoi collegarti direttamente a questi registri dalla pagina dei dettagli dell'esecuzione nella console. HealthOmics

1. Apri la HealthOmics console.

2. Nel riquadro di navigazione a sinistra, scegli Esecuzioni.

3. Seleziona la corsa dalla tabella Runs.

4. Nella pagina dei dettagli dell'esecuzione, puoi scegliere una delle seguenti azioni:

   1. Da Esegui riepilogo, scegli Visualizza registri di esecuzione. La console apre i registri di esecuzione nella CloudWatch console.

   2. Da Esegui riepilogo, scegli Visualizza log in Amazon S3. La console apre la cartella dei log nella console Amazon S3.

   3. Da Esegui attività, scegli Visualizza i registri, Visualizza i registri di esecuzione o Visualizza i registri del manifesto di esecuzione per un'attività. La console apre i registri nella console. CloudWatch

Puoi anche accedere ai log dalla CloudWatch console:

1. Apri la CloudWatch console https://console.aws.amazon.com/cloudwatch/.

2. Dal menu a sinistra, scegli Registra gruppi.

3. Selezionare il gruppo /aws/omics/WorkflowLog.

   Se l'elenco dei gruppi di log è lungo, puoi inserire omic nella casella di testo di ricerca per restringere l'elenco.

4. Quando si apre la pagina dei dettagli del gruppo di log, scegli il flusso di log che desideri visualizzare. La console mostra gli eventi per questo flusso di log.