HealthOmics exécuter les entrées

Si la définition du flux de travail spécifie des fichiers d'entrée pour le flux de travail ou les tâches HealthOmics du flux de travail, place les fichiers dans un volume temporaire dédié à l'exécution du flux de travail. Ces fichiers d'entrée sont en lecture seule, ce qui empêche les tâches de modifier les entrées potentielles pour d'autres tâches du flux de travail. Pour les importations de répertoires, les répertoires sont également en lecture seule.

De nombreuses applications génomiques supposent que les fichiers d'index sont situés au même endroit que les fichiers de séquence (comme un bai fichier d'accompagnement pour un bam fichier). Pour inclure des fichiers d'index, spécifiez-les comme entrées de tâche dans la définition du flux de travail.

Gestion de la taille des paramètres d'exécution

Lorsque vous lancez une exécution, vous spécifiez les entrées d'exécution dans l'objet ou le fichier JSON des paramètres d'exécution. Vous pouvez spécifier jusqu'à 50 Ko de paramètres d'exécution pour le flux de travail. Vous pouvez utiliser les techniques suivantes pour respecter cette contrainte de taille :

• Utiliser les importations de répertoires

  Pour spécifier un grand nombre de fichiers d'entrée, spécifiez un paramètre comme emplacement Amazon S3 contenant tous les fichiers, plutôt que de spécifier un paramètre pour chaque emplacement de fichier. Pour plus d'informations, consultez la rubrique suivante (formats de paramètres d'entrée Amazon S3).

• Utiliser une feuille d'exemple

  Une feuille d'exemple est un fichier CSV ou TSV comportant une colonne pour l'adresse fastq.gz (ou deux pour la lecture couplée) et des colonnes supplémentaires pour les métadonnées telles que les noms d'échantillons. Vous spécifiez la feuille d'exemple comme paramètre d'entrée d'exécution plutôt que comme paramètre pour chaque fichier d'entrée.

  Votre flux de travail définit la façon dont votre feuille d'exemple correspond aux structures de données du flux de travail. Bien que vous puissiez écrire du code pour des feuilles d'exemples dans WDL et CWL, elles sont plus courantes dans. NextFlow Pour un exemple, voir la feuille d'exemple sur le site nf-core GitHub .

Formats de paramètres d'entrée Amazon S3

Pour un paramètre d'entrée qui accepte un emplacement Amazon S3, le paramètre peut spécifier l'emplacement d'un fichier ou d'un répertoire complet de fichiers. L'utilisation d'un annuaire présente les avantages suivants :

• Commodité — Vous spécifiez le nom du répertoire en tant que paramètre. Vous ne listez pas chaque nom de fichier.

• Compacité — La taille de fichier maximale des paramètres d'entrée est de 50 Ko. Si vous fournissez une longue liste de noms de fichiers d'entrée, vous pouvez dépasser ce maximum.

Amazon S3 est un système de stockage d'objets plat, il ne prend donc pas en charge les annuaires. Vous regroupez les fichiers dans un « répertoire » en attribuant à chaque fichier le même préfixe de clé d'objet. Pour plus d'informations sur les préfixes de clé d'objet Amazon S3, consultez Organisation des objets à l'aide de préfixes.

HealthOmics interprète la valeur du paramètre d'entrée comme suit :

• Si l'emplacement Amazon S3 ne se termine pas par une barre oblique ou n'utilise pas le modèle global, HealthOmics attendez-vous à ce que la valeur du paramètre soit la clé d'un objet Amazon S3.

  Par exemple, vous spécifiez de s3://myfiles/runs/inputs/a/file1.fastq saisir file1.fastq

• Si l'emplacement Amazon S3 se termine par une barre oblique, HealthOmics interprète la valeur du paramètre comme un préfixe Amazon S3. Il charge tous les objets Amazon S3 avec ce préfixe.

  Par exemple, vous pouvez spécifier s3://myfiles/runs/inputs/a/ de charger tous les objets dont les clés commencent par ce préfixe.

• Pour Nextflow, HealthOmics prend en charge le modèle global d'Amazon S3 URIs dans les paramètres d'entrée.

  Par exemple, vous pouvez spécifier de “s3://myfiles/runs/inputs/a/*.gz” saisir tous les fichiers .gz dont les clés commencent par ce préfixe.

Gestion spécifique à la langue de la double barre oblique dans les entrées Amazon S3

HealthOmics conserve le comportement natif de chaque moteur de flux de travail lors de la gestion des barres obliques doubles dans Amazon S3 URIs, de sorte que vous n'avez pas besoin de modifier vos flux de travail lorsque vous les migrez vers. HealthOmics Les sections suivantes décrivent comment chaque moteur gère différents scénarios.

WDL

Si le paramètre d'entrée inclut une double barre oblique au milieu ou à la fin de l'URI, le moteur WDL conserve la double barre oblique.

Paramètre d'entrée	Emplacement attendu
s3 ://myfiles/runs/inputs//file1.fastq	s3 ://myfiles/runs/inputs//file1.fastq
s3 ://myfiles/runs/inputs//	s3 ://myfiles/runs/inputs//

Flux suivant

Si le paramètre d'entrée inclut une double barre oblique au milieu de l'URI, le moteur Nextflow conserve la double barre oblique. Pour une double barre oblique à la fin de l'URI, le moteur Nextflow la résout en une seule barre oblique.

Paramètre d'entrée	Emplacement attendu
s3 ://myfiles/runs/inputs//file1.fastq	s3 ://myfiles/runs/inputs//file1.fastq
s3://myfiles//runs/inputs//*.gz	s3://myfiles//runs/inputs//*.gz
s3://myfiles//runs/inputs//	s3://myfiles//runs/inputs/

CWL

Si le paramètre d'entrée inclut une double barre oblique au milieu ou à la fin de l'URI, le moteur CWL conserve la double barre oblique.

Paramètre d'entrée	Emplacement attendu
s3://myfiles// runs/inputs//file 1.fastq	s3://myfiles// runs/inputs//file 1.fastq
s3://myfiles//runs/inputs//	s3://myfiles//runs/inputs//

États de l'archive d'entrée Amazon S3

HealthOmics peut récupérer des objets Amazon S3 fournis par S3 en temps réel. Pour les objets dont l'état de stockage archivé est le suivant, restore les objets auxquels ils doivent être mis à disposition HealthOmics :

• Classes de stockage Flexible Retrieval ou Deep Archive dans Amazon S3 Glacier.

• Archivé Access ou Deep Archive Access permet de hiérarchiser intelligemment.

Pour plus d'informations sur la restauration d'objets, consultez la section Restauration d'un objet archivé dans le guide de l'utilisateur Amazon S3.