Monitoramento HealthOmics com CloudWatch registros

HealthOmics gera uma variedade de registros para ajudar você a entender e solucionar problemas em suas execuções. Os registros estão disponíveis em dois lugares: CloudWatch e no Amazon S3.

Por padrão, as execuções têm o registro ativado. Opcionalmente, você pode desativar o registro LogLevel = OFF em log para uma execução configurando a startrun solicitação.

nota

Para atualizações de serviços, configure e monitore seu Personal Health Dashboard. Para obter mais informações sobre como gerenciar o painel, consulte Getting started with your AWS Health Dashboard.

Tipos de log para HealthOmics fluxos de trabalho

HealthOmics fornece os seguintes tipos de registros para fluxos de trabalho:

• Registros do mecanismo — Os mecanismos de fluxo de trabalho subjacentes (Nextflow, WDL e CWL) produzem registros do mecanismo para execuções. Esses registros podem ajudar você a solucionar problemas de definição do fluxo de trabalho.

• Executar registros de manifesto — Esses registros fornecem informações de alto nível sobre cada tarefa executada, como status da tarefa, hora de início, hora de parada e motivo da falha (se a tarefa falhar).

  Os registros de manifestos de execução também relatam estatísticas de utilização de recursos que podem ser úteis para entender as oportunidades de otimização de recursos. Essas estatísticas incluem:

  • Média de CPUs

  • CPUs máximos

  • CPUs reservadas

  • GPUs reservadas

  • memoryAverageGiB

  • memoryMaximumGiB

  • memoryReservedGiB

  • Segundos de execução

• Registros de execução — Os registros de execução fornecem o status geral da execução e o horário em que as tarefas individuais são iniciadas, executadas, interrompidas e concluídas. Os registros de execução também oferecem visibilidade das etapas de importação e exportação de arquivos.

• Registros de tarefas — Os registros de tarefas fornecem informações detalhadas sobre tarefas individuais em sua execução. As saídas em seu registro de tarefas dependem da definição da tarefa e de onde você usa as instruções de log em seu código. Se seus registros de tarefas não fornecerem o nível de insight de que você precisa, considere adicionar instruções de registro adicionais à sua definição de tarefas para produzir registros de tarefas mais detalhados.

• Executar registros de cache — Os registros de execução de cache fornecem o status geral dos caches de execução e o armazenamento em cache das saídas das tarefas. Os registros de execução do cache oferecem visibilidade dos acertos e erros do cache em cada execução que usa o cache.

• outputs.json — Para fluxos de trabalho de WDL e CWL, HealthOmics entrega um arquivo gerado pelo mecanismo, chamado, para seu bucket do Amazon S3 após outputs.json a conclusão da execução. Esses arquivos incluem uma lista e um mapa de todas as saídas para a execução.

Login CloudWatch

Você pode encontrar os registros do HealthOmics CloudWatch fluxo de trabalho no seguinte grupo de registros:/aws/omics/WorkflowLog. Além disso, a saída da operação da API get-run fornece o fluxo de registros ARNs para os CloudWatch registros do mecanismo e os registros de execução.

Por padrão, AWS mantém os CloudWatch registros indefinidamente. Você pode ajustar a política de retenção do grupo de registros para definir um período de retenção entre 10 anos e um dia.

A tabela a seguir fornece um resumo dos CloudWatch Logins HealthOmics.

Nome do log	Disponível em CloudWatch registros	Quando o registro está disponível	Formato de fluxo de log
Registros do motor	Sim, para execuções com falha	Após a conclusão da execução	executar/ /motor runID
Executar registros de manifestos	Sim	Após a conclusão da execução	manifesto/execução//runIDrunUUID
Registros de execução	Sim	Em tempo real	correr/ runID
Registros de tarefas	Sim	Em tempo real	executar/ /tarefa/ runID taskID
Executar registros de cache	Sim	Em tempo real	Execute Cache//runCacheIdrunCacheUUID
outputs.json (WDL e CWL)	Não	n/a	n/a

Logs no Amazon S3

Após a conclusão da execução, os registros do mecanismo são entregues ao seu bucket do S3 e ficam disponíveis indefinidamente até que você os exclua. Esses registros estão localizados no diretório de registros do URI de saída do S3 que você especificou para o fluxo de trabalho.

O caminho para o diretório de registros tem o seguinte formato:s3://{user_provided_path}/logs/.

A tabela a seguir fornece um resumo dos HealthOmics registros disponíveis em seu bucket do Amazon S3.

Nome do log	Disponível no Amazon S3	Quando o registro está disponível	Caminho do fluxo de log
Registros do motor	Sim	Após a conclusão da execução	s3:///logs/engine.log user_provided_path
outputs.json (WDL e CWL)	Sim	Após a conclusão da execução	s3://user_provided_path/runID/runUUID/logs/outputs.json
Execute registros de manifestos, registros de execução e registros de tarefas	Não	n/a	n/a

CloudWatch Registros interativos na CLI

Você pode visualizar interativamente os CloudWatch registros usando o comando Live Tail no modo interativo. Você pode acompanhar o progresso da execução em tempo real e definir até 5 palavras-chave para destacar nos registros:

aws logs start-live-tail  \
  --mode interactive  \
  --log-group-identifiers arn:aws:logs:region:account-ID:log-group:/aws/omics/WorkflowLog       

Para obter mais informações, consulte Start live tail na Referência de AWS CLI Comandos.

Acessando CloudWatch registros a partir do console

Para acessar os registros de uma execução, você pode vinculá-los diretamente na página de detalhes da execução no HealthOmics console.

1. Abra o console de HealthOmics .

2. No painel de navegação esquerdo, escolha Executar.

3. Selecione a execução na tabela Execuções.

4. Na página de detalhes da execução, você pode escolher qualquer uma dessas ações:

   1. Em Resumo da execução, escolha Exibir registros de execução. O console abre os registros de execução no CloudWatch console.

   2. Em Resumo da execução, escolha Exibir registros no Amazon S3. O console abre a pasta de registros no console do Amazon S3.

   3. Em Executar tarefas, escolha Exibir registros, Exibir registros de execução ou Exibir registros de manifesto de execução de uma tarefa. O console abre os registros no CloudWatch console.

Você também pode navegar até os registros no CloudWatch console:

1. Abra o CloudWatch console https://console.aws.amazon.com/cloudwatch/.

2. No menu à esquerda, escolha Grupos de registros.

3. Selecione o grupo do /aws/omics/WorkflowLog.

   Se a lista de grupos de registros for longa, você poderá inserir ômicas na caixa de texto de pesquisa para restringir a lista.

4. Quando a página de detalhes do grupo de registros for aberta, escolha o fluxo de registros que você deseja visualizar. O console exibe os eventos desse fluxo de log.