Engine-spezifische Caching-Funktionen

HealthOmics versucht, eine konsistente Implementierung von Call Caching in allen Workflow-Engines bereitzustellen. Je nachdem, wie jede Workflow-Engine mit bestimmten Fällen umgeht, gibt es einige Unterschiede:

• Nextflow

  • Das Zwischenspeichern zwischen verschiedenen Nextflow-Versionen ist nicht garantiert. Wenn Sie beispielsweise eine Aufgabe in Version 23.10.0 ausführen und anschließend dieselbe Aufgabe in Version 24.10.8 ausführen, HealthOmics könnten Sie den zweiten Lauf als einen Cache-Fehler betrachten.

  • Sie können das Caching für einzelne Aufgaben deaktivieren, indem Sie die Cache-Direktive verwenden. false Informationen zu dieser Direktive finden Sie in den Prozessen in der Nextflow-Spezifikation.

  • HealthOmics verwendet den Nachsichtigkeitsmodus von Nextflow, unterstützt aber den Deep-Caching-Modus nicht.

  • Beim Caching wird jedes einzelne S3-Objekt ausgewertet, wenn Sie ein Glob-Muster im S3-Pfad zu den Eingaben für eine Aufgabe verwenden. Wenn Sie ein neues Objekt hinzufügen, werden nur die Aufgaben HealthOmics neu berechnet, die das neue Objekt verwenden.

  • HealthOmics speichert keine Wiederholungsversuche von Aufgaben im Cache. Dieses Verhalten entspricht dem Standardverhalten von Nextflow.

• WDL

  • HealthOmics unterstützt den neuen Verzeichnistyp für Eingaben, wenn Sie die Entwicklungsversion des WDL-Workflows verwenden. Bei der Zwischenspeicherung von Aufrufen werden alle Aufgaben, die das Verzeichnis eingeben, HealthOmics neu berechnet, wenn sich ein Objekt im Verzeichnis ändert.

  • HealthOmics unterstützt Caching auf Aufgabenebene, aber kein Caching auf Workflow-Ebene.

• CWL

  • Konstante Ausgaben von Aufgaben sind in den Manifesten nicht explizit sichtbar. HealthOmics speichert konstante Ausgaben als Zwischendateien im Cache.