Empaquete y suministre un HealthOmics definición de flujo de trabajo

Cuando crea un flujo de trabajo o una versión del flujo de trabajo, proporciona la definición exactamente desde una fuente: un archivo ZIP que envía con la solicitud, un archivo ZIP en Amazon S3 o Git-based repositorio. Se produce un error en una solicitud que incluye más de una fuente de definición. Los parámetros de este tema se aplican tanto a CreateWorkflow y CreateWorkflowVersion operaciones. Para ver los procedimientos completos, consulte Crear un flujo de trabajo privado y Crear una versión de flujo de trabajo.

nota

HealthOmics enlaza algunas definiciones de flujo de trabajo al crear un flujo de trabajo. Para saber qué motores están bloqueados, si los hallazgos bloquean el flujo de trabajo y cómo leerlos, consulte El flujo de trabajo apunta a HealthOmics.

Elija una fuente de definición de flujo de trabajo

Utilice esta fuente	Parámetro de API	Tamaño máximo	AWS CLI marcar
Un archivo ZIP en su máquina local.	definitionZip	4,4 MB	--definition-zip fileb://my-definition.zip
Un archivo ZIP en un bucket de Amazon S3. El bucket debe estar en el mismo AWS Región como flujo de trabajo.	definitionUri	100 MB	--definition-uri s3://amzn-s3-demo-bucket1/my-definition.zip
Un compatible Git-based repositorio, a través de un AWS CodeConnections conexión.	definitionRepository	Repositorio de 1 GiB, 100 MiB por archivo	--definition-repository con un valor JSON

Consideraciones adicionales:

• Estas cuotas de tamaño no se pueden aumentar. Para obtener más información, consulte HealthOmics cuotas de tamaño fijo de flujo de trabajo.

• Si su cuenta no es propietaria del bucket de Amazon S3 que contiene la definición, indique la del propietario del bucket Cuenta de AWS ID en workflowBucketOwnerId (--workflow-bucket-owner-id).

• Con definitionRepository, HealthOmics lee los archivos de definición del repositorio, y main, parameterTemplatePath, y readmePath son rutas dentro del repositorio en lugar de dentro de un archivo. Para obtener más información acerca de definitionRepository campos, consulte Utilice la definición de flujo de trabajo de un Git-based repositorio. Para obtener más información sobre la configuración de la conexión y los proveedores compatibles, consulte HealthOmics integración del flujo de trabajo con repositorios basados en Git.

El diseño del archivo ZIP y el archivo de definición principal

Incluya todos los archivos que importe la definición principal, como los subflujos de trabajo, nextflow.config, y cualquier bin guiones.

Un archivo de definición es un archivo cuya extensión coincide con un motor compatible, como .wdl, .nf, o .cwl. Si omites main, HealthOmics lo elige entre los archivos de definición que se encuentran más cerca de la raíz del archivo. Ignora los archivos y carpetas ocultos e ignora los archivos de definición que se encuentran en una parte más profunda del archivo. La selección automática también requiere un único motor, ya sea porque el archivo contiene los archivos de definición de un motor o porque tú configuras engine. De los archivos del nivel más cercano:

• Si hay exactamente un archivo de definición, HealthOmics lo usa, sea cual sea su nombre.

• Si hay varios, HealthOmics usa el que se llama main.wdl, main.nf, o main.cwl.

En dos casos HealthOmics no se puede resolver el archivo. La solicitud en sí se realiza correctamente y el flujo de trabajo o la versión del flujo de trabajo se inicia en CREATING, pero luego pasa a FAILED, y su mensaje de estado indica el motivo:

• Zip file contains multiple workflow definition types — el archivo contiene los archivos de definición de más de un motor y tú no los configuraste engine. Esto se aplica independientemente de si configuras o no main. Set engine, o eliminar los archivos del otro motor. HealthOmics informa primero de este motivo cuando se dan ambos casos.

• Zip file contains multiple top-level workflow definition files — omitiste main, varios archivos de definición se encuentran en el nivel más cercano y ninguno de ellos tiene exactamente el nombre main.wdl, main.nf, o main.cwl. Set main al camino del que quieras.

Para elegir el archivo de definición principal usted mismo, configure main (--main) a su ruta, en relación con la raíz del archivo. La ruta puede tener hasta 128 caracteres.

Por ejemplo, para un archivo cuyo archivo de definición principal sea workflow-definition/main-file.wdl:

--main workflow-definition/main-file.wdl

Set engine (--engine) para ponerle un nombre al motor, ya sea para resolver un archivo que contenga más de los archivos de definición de un motor o para utilizar el motor flexible de WDL.

Considere la posibilidad de crear una carpeta de flujo de trabajo en su máquina local con el siguiente diseño:

my-workflow/
    main.wdl
    tasks/align.wdl
    tasks/call-variants.wdl

Cree el archivo desde dentro de esa carpeta, de modo que main.wdl y el tasks la carpeta se encuentra en la raíz del archivo. El siguiente comando también agrega archivos y carpetas ocultos, como un .git carpeta en un repositorio clonado. Se tienen en cuenta para el tamaño de la definición, así que excluye las que no necesites, por ejemplo, con -x '.*' -x '*/.*':

cd my-workflow
zip -r ../my-definition.zip .
cd ..

main.wdl es ahora el único archivo de definición en la raíz del archivo, por lo que puede omitir main:

main.wdl
tasks/align.wdl
tasks/call-variants.wdl

Envíe el archivo en línea o a través de Amazon S3

definitionZip es un parámetro binario. Cuando usas el AWS CLI, pase el archivo con el fileb:// prefijo y el AWS CLI lee el archivo y lo codifica para usted. El AWS Los SDK codifican por ti. Si llamas a la API directamente a través de HTTP, envía el archivo como una cadena codificada en base64.

La plantilla de parámetros de los siguientes ejemplos es opcional. Si la omite, HealthOmics deriva los parámetros de ejecución de la definición de su flujo de trabajo. Para obtener más información, consulte Archivos de plantillas de parámetros para HealthOmics flujos de trabajo.

Lo siguiente AWS CLI El ejemplo crea un flujo de trabajo enviando el archivo ZIP con la solicitud. Sustituya cada valor en cursiva:

aws omics create-workflow \
  --name my-workflow-name \
  --definition-zip fileb://my-definition.zip \
  --parameter-template file://my-parameter-template.json

Para un archivo mayor que definitionZip límite en Elija una fuente de definición de flujo de trabajo, cárguelo en un bucket de Amazon S3 en la misma región que el flujo de trabajo y úselo definitionUri en su lugar. Sustituya cada valor en cursiva y sustituya el cubo por el suyo propio:

aws s3 cp my-definition.zip s3://amzn-s3-demo-bucket1/my-definition.zip

aws omics create-workflow \
  --name my-workflow-name \
  --definition-uri s3://amzn-s3-demo-bucket1/my-definition.zip \
  --parameter-template file://my-parameter-template.json

Configura el almacenamiento de ejecución predeterminado

Recomendamos el almacenamiento dinámico de ejecuciones para la mayoría de los flujos de trabajo. Elija el almacenamiento de ejecución estático en cualquiera de los siguientes casos:

• El flujo de trabajo utiliza más de 9,6 TiB de datos y sus tareas se benefician de un alto nivel de mantenimiento I/O.

• Se leen más de 100 tareas dispersas del almacenamiento de ejecución compartido a la vez.

Para obtener más información sobre cada tipo de almacenamiento de ejecución, incluidas sus características de rendimiento y cómo dimensionar el almacenamiento de ejecución estática, consulte Ejecute tipos de almacenamiento en HealthOmics flujos de trabajo y Ejecute la optimización para un privado HealthOmics flujo de trabajo.

El storageType (--storage-type) y storageCapacity (--storage-capacity) los parámetros establecen los valores predeterminados para las ejecuciones que utilizan el flujo de trabajo. Puede anular ambos en tiempo de ejecución, tal y como se describe en Empieza una carrera en HealthOmics. Combínalos de la siguiente manera:

• storageType de DYNAMIC — HealthOmics aumenta y reduce el almacenamiento de ejecución en función de la utilización del sistema de archivos. No configure storageCapacity. Si lo haces, la solicitud falla: CreateWorkflow informes You cannot set the storage capacity for workflows that use DYNAMIC run storage type, y CreateWorkflowVersion informes You cannot set the storage capacity for workflow version that use DYNAMIC run storage type.

• storageType de STATIC — HealthOmics asigna una cantidad fija de almacenamiento de ejecución, por lo que también establece storageCapacity, en GiB. Si ni el flujo de trabajo ni la ejecución especifican una capacidad, la ejecución utiliza 1200 GiB. El máximo es un límite por cuenta. HealthOmics aprovisiona el almacenamiento de ejecución estática solo como 1200 GiB o como múltiplo de 2400 GiB y redondea cualquier otro valor al siguiente tamaño admitido. Por ejemplo, HealthOmics aprovisiona 1200 GiB para una capacidad inferior a 1200 GiB.

El siguiente ejemplo establece el almacenamiento de ejecución predeterminado en 1200 GiB de almacenamiento estático:

aws omics create-workflow \
  --name my-workflow-name \
  --definition-zip fileb://my-definition.zip \
  --storage-type STATIC \
  --storage-capacity 1200