Supervisión HealthOmics con CloudWatch registros

HealthOmics genera una variedad de registros para ayudarte a entender y solucionar los problemas de tus carreras. Los registros están disponibles en dos sitios: CloudWatch y Amazon S3.

De forma predeterminada, las ejecuciones tienen el registro activado. Si lo desea, puede desactivar el registro de una ejecución configurando LogLevel = OFF la startrun solicitud.

nota

Para obtener actualizaciones de los servicios, configure y supervise su Personal Health Dashboard. Para obtener más información sobre cómo administrar el panel de control, consulte Introducción a su AWS Health Dashboard.

Tipos de registro para HealthOmics flujos de trabajo

HealthOmics proporciona los siguientes tipos de registros para los flujos de trabajo:

• Registros del motor: los motores de flujo de trabajo subyacentes (Nextflow, WDL y CWL) producen registros del motor para las ejecuciones. Estos registros pueden ayudarle a solucionar problemas de definición del flujo de trabajo.

• Registros de manifiestos de ejecución: estos registros proporcionan información de alto nivel sobre cada tarea en ejecución, como el estado de la tarea, la hora de inicio, la hora de finalización y el motivo del error (si la tarea ha fallado).

  Los registros de ejecución de manifiestos también incluyen estadísticas de utilización de los recursos que pueden resultar útiles para comprender las oportunidades de optimización de los recursos. Estas estadísticas incluyen:

  • Promedio de CPU

  • Máximo de CPU

  • CPUs reservadas

  • GPUs reservadas

  • memoryAverageGiB

  • memoryMaximumGiB

  • memoryReservedGiB

  • Segundos de ejecución

• Registros de ejecución: los registros de ejecución proporcionan el estado general de la ejecución y la hora en que las tareas individuales se inician, se ejecutan, se detienen y se completan. Los registros de ejecución también permiten ver los pasos de importación y exportación de archivos.

• Registros de tareas: los registros de tareas proporcionan información de registro detallada sobre las tareas individuales de la ejecución. Los resultados del registro de tareas dependen de la definición de la tarea y del lugar en el código que utilices las sentencias de registro. Si los registros de tareas no proporcionan el nivel de información que necesitas, considera añadir más sentencias de registro a la definición de la tarea para producir registros de tareas más detallados.

• Registros de caché de ejecución: los registros de caché de ejecución proporcionan el estado general de las cachés de ejecución y del almacenamiento en caché de los resultados de las tareas. Los registros de caché de ejecución proporcionan visibilidad de los aciertos y errores de caché de cada ejecución que utiliza el almacenamiento en caché.

• Outputs.json: para los flujos de trabajo de WDL y CWL, HealthOmics entrega un archivo generado por el motor, denominado, a outputs.json su bucket de Amazon S3 una vez finalizada la ejecución. Estos archivos incluyen una lista y un mapa de todos los resultados de la ejecución.

Inicia sesión CloudWatch

Puede encontrar los registros del HealthOmics CloudWatch flujo de trabajo en el siguiente grupo de registros:/aws/omics/WorkflowLog. Además, el resultado de la operación de API get-run proporciona el flujo de CloudWatch registro ARNs para los registros del motor y los registros de ejecución.

De forma predeterminada, AWS conserva los CloudWatch registros indefinidamente. Puede ajustar la política de retención del grupo de registros para establecer un período de retención de entre 10 años y un día.

En la siguiente tabla se proporciona un resumen de los CloudWatch inicios de sesión HealthOmics.

Nombre de registro	Disponible en CloudWatch los registros	¿Cuándo está disponible el registro	Formato de flujo de registro
Registros del motor	Sí, para ejecuciones fallidas	Una vez finalizada la ejecución	run/ /engine runID
Ejecute los registros de manifiestos	Sí	Una vez completada la ejecución	manifest/run//runIDrunUUID
Ejecuta registros	Sí	En tiempo real	ejecutar/ runID
Registros de tareas	Sí	En tiempo real	ejecutar/ /tarea/ runID taskID
Ejecute los registros de caché	Sí	En tiempo real	RunCache//runCacheIdrunCacheUUID
Outputs.json (WDL y CWL)	No	n/a	n/a

Inicia sesión en Amazon S3

Una vez finalizada la ejecución, los registros del motor se envían a su bucket de S3 y están disponibles de forma indefinida hasta que los elimine. Estos registros se encuentran en el directorio de registros del URI de salida de S3 que especificó para el flujo de trabajo.

La ruta al directorio de registros tiene el siguiente formato:s3://{user_provided_path}/logs/.

La siguiente tabla proporciona un resumen de los HealthOmics registros disponibles en su bucket de Amazon S3.

Nombre de registro	Disponible en Amazon S3	¿Cuándo está disponible el registro	Ruta de flujo de registro
Registros del motor	Sí	Una vez completada la ejecución	s3://user_provided_path/logs/engine.log
Outputs.json (WDL y CWL)	Sí	Una vez completada la ejecución	s3://user_provided_path/runID/runUUID/logs/outputs.json
Ejecute registros de manifiestos, registros de ejecución y registros de tareas	No	n/a	n/a

CloudWatch Registros interactivos en la CLI

Puede ver los CloudWatch registros de forma interactiva mediante el comando Live Tail en modo interactivo. Puedes hacer un seguimiento del progreso de las carreras en tiempo real y definir hasta 5 palabras clave para resaltarlas en los registros:

aws logs start-live-tail  \
  --mode interactive  \
  --log-group-identifiers arn:aws:logs:region:account-ID:log-group:/aws/omics/WorkflowLog       

Para obtener más información, consulta Start live tail en la Referencia de AWS CLI comandos.

Acceder a CloudWatch los registros desde la consola

Para acceder a los registros de una ejecución, puedes vincular directamente a estos registros desde la página de detalles de la ejecución de la HealthOmics consola.

1. Abra la consola de HealthOmics .

2. En el panel de navegación izquierdo, selecciona Ejecuciones.

3. Seleccione la ejecución en la tabla Ejecuciones.

4. En la página de detalles de la ejecución, puede elegir cualquiera de estas acciones:

   1. En Resumen de la ejecución, selecciona Ver registros de ejecución. La consola abre los registros de ejecución en la CloudWatch consola.

   2. En Resumen de ejecución, seleccione Ver registros en Amazon S3. La consola abre la carpeta de registros en la consola de Amazon S3.

   3. En Ejecutar tareas, seleccione Ver registros, Ver registros de ejecución o Ver registros de manifiesto de ejecución de una tarea. La consola abre los registros de la CloudWatch consola.

También puedes navegar hasta los registros desde la CloudWatch consola:

1. Abre la CloudWatch consola https://console.aws.amazon.com/cloudwatch/.

2. En el menú de la izquierda, selecciona Registrar grupos.

3. Seleccione el grupo de /aws/omics/WorkflowLog.

   Si la lista de grupos de registros es larga, puede introducir omics en el cuadro de texto de búsqueda para reducir la lista.

4. Cuando se abra la página de detalles del grupo de registros, elija el flujo de registros que desee ver. La consola muestra los eventos de este flujo de registro.