Surveillance à HealthOmics l'aide de CloudWatch journaux

HealthOmics génère divers journaux pour vous aider à comprendre et à résoudre les problèmes liés à vos courses. Les journaux sont disponibles à deux endroits : CloudWatch et sur Amazon S3.

Par défaut, la journalisation des courses est activée. Vous pouvez éventuellement désactiver la journalisation d'une exécution LogLevel = OFF en définissant la startrun demande.

Note

Pour les mises à jour des services, configurez et surveillez votre Personal Health Dashboard. Pour plus d'informations sur la gestion du tableau de bord, consultez Getting started with your AWS Health Dashboard.

Types de journaux pour les HealthOmics flux de travail

HealthOmics fournit les types de journaux suivants pour les flux de travail :

• Journaux du moteur : les moteurs de flux de travail sous-jacents (Nextflow, WDL et CWL) produisent des journaux du moteur pour les exécutions. Ces journaux peuvent vous aider à résoudre les problèmes de définition des flux de travail.

• Journaux du manifeste d'exécution : ces journaux fournissent des informations de haut niveau sur chaque tâche exécutée, telles que l'état de la tâche, l'heure de début, l'heure de fin et le motif de l'échec (en cas d'échec de la tâche).

  Les journaux des manifestes d'exécution fournissent également des statistiques d'utilisation des ressources qui peuvent être utiles pour comprendre les opportunités d'optimisation des ressources. Ces statistiques incluent :

  • Moyenne du processeur

  • Maximum du processeur

  • CPU réservés

  • GPU réservés

  • memoryAverageGi B

  • memoryMaximumGi B

  • memoryReservedGi B

  • Secondes de fonctionnement

• Journaux d'exécution : les journaux d'exécution fournissent l'état d'exécution global et l'heure à laquelle les tâches individuelles démarrent, s'exécutent, s'arrêtent et se terminent. Les journaux d'exécution vous donnent également une visibilité sur les étapes d'importation et d'exportation de fichiers.

• Journaux de tâches : les journaux de tâches fournissent des informations de journalisation détaillées sur les tâches individuelles de votre exécution. Les résultats de votre journal des tâches dépendent de la définition de la tâche et de l'endroit où vous utilisez les instructions de journal dans votre code. Si vos journaux de tâches ne fournissent pas le niveau d'information dont vous avez besoin, pensez à ajouter des instructions de journal supplémentaires à la définition de vos tâches afin de produire des journaux de tâches plus pertinents.

• Exécuter les journaux du cache : les journaux du cache d'exécution fournissent l'état général des caches d'exécution et de la mise en cache des résultats des tâches. Les journaux d'exécution du cache vous donnent une visibilité sur les accès et les échecs du cache pour chaque exécution utilisant la mise en cache.

• outputs.json — Pour les flux de travail WDL et CWL, HealthOmics fournit un fichier généré par le moteur, nommé, à outputs.json votre compartiment Amazon S3 une fois l'exécution terminée. Ce fichier inclut une liste et une carte de toutes les sorties pour l'exécution.

Se connecte CloudWatch

Vous pouvez trouver les journaux du HealthOmics CloudWatch flux de travail dans le groupe de journaux suivant : /aws/omics/WorkflowLog En outre, le résultat de l'opération d'API get-run fournit le flux de CloudWatch journal ARNs pour les journaux du moteur et les journaux d'exécution.

Par défaut, AWS conserve les CloudWatch journaux indéfiniment. Vous pouvez ajuster la politique de conservation du groupe de journaux afin de définir une période de conservation comprise entre 10 ans et un jour.

Le tableau suivant fournit un résumé CloudWatch des connexions HealthOmics.

Nom du journal	Disponible dans CloudWatch Logs	Quand le journal est-il disponible	Format du flux de journal
Journaux du moteur	Oui, en cas d'échec des courses	Une fois l'exécution terminée	exécuter/ /engine runID
Exécuter les journaux du manifeste	Oui	Une fois l'exécution terminée	manifest/exécuter//runIDrunUUID
Lancer les journaux	Oui	En temps réel	courrir/ runID
Journaux de tâches	Oui	En temps réel	exécuter/ /tâche/ runID taskID
Exécuter les journaux du cache	Oui	En temps réel	Exécuter le cache//runCacheIdrunCacheUUID
Outputs.json (WDL et CWL)	Non	N/A	s/o

Se connecte à Amazon S3

Une fois l'exécution terminée, les journaux du moteur sont envoyés dans votre compartiment S3 et sont disponibles indéfiniment jusqu'à ce que vous les supprimiez. Ces journaux se trouvent dans le répertoire des journaux de l'URI de sortie S3 que vous avez spécifié pour le flux de travail.

Le chemin d'accès au répertoire des journaux est au format suivant :s3://{user_provided_path}/logs/.

Le tableau suivant fournit un résumé des HealthOmics journaux disponibles dans votre compartiment Amazon S3.

Nom du journal	Disponible sur Amazon S3	Quand le journal est-il disponible	Chemin du flux de log
Journaux du moteur	Oui	Une fois l'exécution terminée	s3 ://user_provided_path/logs/engine.log
Outputs.json (WDL et CWL)	Oui	Une fois l'exécution terminée	s3 ://user_provided_path/runID/runUUID/logs/outputs.json
Exécuter des journaux de manifeste, des journaux d'exécution et des journaux de tâches	Non	N/A	s/o

CloudWatch Journaux interactifs dans la CLI

Vous pouvez consulter les CloudWatch journaux de manière interactive à l'aide de la commande Live Tail en mode interactif. Vous pouvez suivre la progression des courses en temps réel et définir jusqu'à 5 mots clés à mettre en évidence dans les journaux :

aws logs start-live-tail  \
  --mode interactive  \
  --log-group-identifiers arn:aws:logs:region:account-ID:log-group:/aws/omics/WorkflowLog       

Pour plus d'informations, voir Start Live Tail dans le manuel de référence des AWS CLI commandes.

Accès aux CloudWatch journaux depuis la console

Pour accéder aux journaux d'une exécution, vous pouvez accéder directement à ces journaux depuis la page des détails de l'exécution de la HealthOmics console.

1. Ouvrez la HealthOmics console.

2. Dans le volet de navigation de gauche, choisissez Runs.

3. Sélectionnez l'exécution dans le tableau Exécutions.

4. Sur la page des détails de l'exécution, vous pouvez choisir l'une des actions suivantes :

   1. Dans Récapitulatif des exécutions, choisissez Afficher les journaux d'exécution. La console ouvre les journaux d'exécution dans la CloudWatch console.

   2. Dans Exécuter le résumé, choisissez Afficher les journaux dans Amazon S3. La console ouvre le dossier des journaux dans la console Amazon S3.

   3. Dans Exécuter les tâches, choisissez Afficher les journaux, Afficher les journaux d'exécution ou Afficher les journaux du manifeste d'exécution d'une tâche. La console ouvre les journaux dans la CloudWatch console.

Vous pouvez également accéder aux journaux depuis la CloudWatch console :

1. Ouvrez la CloudWatch console https://console.aws.amazon.com/cloudwatch/.

2. Dans le menu de gauche, choisissez Log groups.

3. Sélectionnez le groupe /aws/omics/WorkflowLog.

   Si la liste des groupes de journaux est longue, vous pouvez saisir des omiques dans la zone de texte de recherche pour affiner la liste.

4. Lorsque la page des détails du groupe de journaux s'ouvre, choisissez le flux de journaux que vous souhaitez consulter. La console affiche les événements de ce flux de journal.