HealthOmics eseguire ingressi

Se la definizione del flusso di lavoro specifica i file di input per il flusso di lavoro o le attività del flusso di lavoro HealthOmics , trasferisce i file in un volume di memoria virtuale dedicato all'esecuzione del flusso di lavoro. Questi file di input sono di sola lettura, il che impedisce alle attività di modificare i potenziali input per altre attività del flusso di lavoro. Per le importazioni di directory, le directory sono anche di sola lettura.

Molte applicazioni di genomica presuppongono che i file di indice siano collocati insieme ai file di sequenza (ad esempio un file associato bai a un file). bam Per includere i file di indice, specificateli come input delle attività nella definizione del flusso di lavoro.

Gestione delle dimensioni dei parametri di esecuzione

Quando si avvia un'esecuzione, si specificano gli input di esecuzione nell'oggetto o nel file JSON dei parametri di esecuzione. È possibile specificare fino a 256 KB di parametri di esecuzione per il flusso di lavoro. È possibile utilizzare le seguenti tecniche per rimanere entro questo vincolo di dimensione:

• Usa le importazioni di directory

  Per specificare un numero elevato di file di input, specifica un parametro come posizione Amazon S3 che contiene tutti i file, anziché specificare un parametro per ogni posizione di file. Per ulteriori informazioni, consulta l'argomento successivo (formati dei parametri di input di Amazon S3).

• Usa un foglio di esempio

  Un foglio di esempio è un file CSV o TSV con una colonna per l'indirizzo fastq.gz (o due per la lettura in coppia) e colonne aggiuntive per i metadati, ad esempio i nomi di esempio. Specificate il foglio di esempio come parametro di input di esecuzione anziché come parametro per ogni file di input.

  Il flusso di lavoro definisce il modo in cui il foglio di esempio viene mappato alle strutture di dati del flusso di lavoro. Sebbene sia possibile scrivere codice per i fogli di esempio in WDL e CWL, sono più comuni in. NextFlow Per un esempio, vedi il foglio di esempio sul sito GitHub nf-core.

Formati dei parametri di input di Amazon S3

Per un parametro di input che accetta una posizione Amazon S3, il parametro può specificare la posizione di un file o di un'intera directory di file. L'utilizzo di una directory presenta i seguenti vantaggi:

• Comodità: si specifica il nome della directory come parametro. Non viene elencato ogni nome di file.

• Compattezza: la dimensione massima del file del parametro di input è 256 KB. Se si fornisce un lungo elenco di nomi di file di input, è possibile superare questo limite massimo.

Amazon S3 è un sistema di storage a oggetti piatto, quindi non supporta le directory. Raggruppi i file in una «directory» assegnando a ciascun file lo stesso prefisso chiave oggetto. Per ulteriori informazioni sui prefissi chiave degli oggetti di Amazon S3, consulta Organizzare gli oggetti utilizzando i prefissi.

HealthOmics interpreta il valore del parametro di input come segue:

• Se la posizione di Amazon S3 non termina con una barra o utilizza il pattern glob, HealthOmics si aspetta che il valore del parametro sia la chiave per un oggetto Amazon S3.

  Ad esempio, specifichi di inserire file1.fastq s3://myfiles/runs/inputs/a/file1.fastq

• Se la posizione Amazon S3 termina con una barra, HealthOmics interpreta il valore del parametro come un prefisso Amazon S3. Carica tutti gli oggetti Amazon S3 con quel prefisso.

  Ad esempio, puoi specificare s3://myfiles/runs/inputs/a/ di caricare tutti gli oggetti le cui chiavi iniziano con questo prefisso.

• Per Nextflow, supporta HealthOmics parzialmente il pattern glob per gli URI di Amazon S3 nei parametri di input.

  Ad esempio, puoi specificare di inserire tutti i file “s3://myfiles/runs/inputs/a/*.gz” .gz le cui chiavi iniziano con questo prefisso.

Nextflow: gestione del pattern Glob negli input di Amazon S3

Pattern Glob	HealthOmics Comportamento della partita	Note
s3://bucket/directory/*.txt	Corrisponde a tutti .txt gli oggetti a qualsiasi profondità sotto il prefisso s3:///. bucket/directory Ad esempio, corrisponde a s3://bucket/directory/abc.txt o s3:///.txt ecc. bucket/directory subDir/123
s3:///**/*.txt bucket/directory	Corrisponde a tutti gli .txt oggetti a qualsiasi profondità sotto il prefisso s3:///. bucket/directory Ad esempio, corrisponde a s3://bucket/directory/abc.txt o s3:///.txt ecc. bucket/directory subDir/123	In S3, è equivalente a. ** *
s3://bucket/directory/{a, b} .txt	s3://bucket/directory/a.txt, s3:///b.txt bucket/directory
s3:///bucket/directory?. testo	Corrisponde agli oggetti al prefisso root il cui nome di file è un singolo carattere seguito da. .txt Ad esempio, corrisponde a s3://bucket/directory/a.txt ma non a s3://bucket/directory/someDir/a.txt o s3:////a.txt bucket/directory someDir/subDir
s3:///[0-9] .txt bucket/directory	s3://bucket/directory/0.txt, s3:///1.txt,... bucket/directory , s3:///9.txt bucket/directory
s3://bucket/directory/[0-9] .txt	s3://bucket/directory/1.txt, s3:///2.txt, s3:///3.txt bucket/directory bucket/directory
s3://bucket/directory/[0-9] .txt	s3://bucket/directory/b.txt, s3:///c.txt,... bucket/directory , s3:///bucket/directoryY.txt

Language-specific gestione della doppia barra negli input di Amazon S3

HealthOmics mantiene il comportamento nativo del motore per ogni motore di flusso di lavoro durante la gestione delle barre doppie negli URI di Amazon S3, in modo da non dover apportare modifiche ai flussi di lavoro durante la migrazione verso. HealthOmics Le sezioni seguenti descrivono in che modo ciascun motore gestisce diversi scenari.

WDL

Se il parametro di input include una doppia barra al centro o alla fine dell'URI, il motore WDL mantiene la doppia barra.

Parametro di input	Ubicazione prevista
s3://myfiles/runs/inputs//file1.fastq	s3://myfiles/runs/inputs//file1.fastq
s3://myfiles/runs/ingressi/	s3://myfiles/runs/ingressi/

Flusso successivo

Se il parametro di input include una doppia barra al centro dell'URI, il motore Nextflow mantiene la doppia barra. Per una doppia barra alla fine dell'URI, il motore Nextflow la risolve in una singola barra.

Parametro di input	Ubicazione prevista
s3://myfiles/runs/inputs//file1.fastq	s3://myfiles/runs/inputs//file1.fastq
s3://myfiles//runs/inputs//*.gz	s3://myfiles////*.gz runs/inputs
s3://myfiles//runs/inputs//	s3://myfiles//runs/inputs/

CWL

Se il parametro di input include una doppia barra al centro o alla fine dell'URI, il motore CWL mantiene la doppia barra.

Parametro di input	Ubicazione prevista
s3://myfiles// runs/inputs //file1.fastq	s3://myfiles// runs/inputs //file1.fastq
runs/inputss3://myfiles////	s3://myfiles//runs/inputs//

Stati dell'archivio di input di Amazon S3

HealthOmics è in grado di recuperare oggetti Amazon S3 forniti da S3 in tempo reale. Per gli oggetti che si trovano nei seguenti stati di archiviazione, gli oggetti a restore cui renderli disponibili sono: HealthOmics

• Classi di storage Flexible Retrieval o Deep Archive in Amazon S3 Glacier.

• Livelli Archived Access o Deep Archive Access in Intelligent tiering.

Per informazioni sul ripristino degli oggetti, consulta Restoring an archived object nella Amazon S3 User Guide.