Carica i file negli allegati di lavoro di Deadline Cloud

Lo script Python upload_to_job_attachments sul GitHub sito Web carica file e directory dalla tua workstation in un bucket Amazon S3 con allegati di lavoro di Deadline Cloud in formato di archiviazione indirizzabile ai contenuti. Dopo il caricamento dei file, i lavori che fanno riferimento ad essi non devono caricarli nuovamente. Lo script è utile per precompilare gli allegati dei lavori con set di dati di grandi dimensioni.

Lo script fornisce quanto segue:

• Caricamenti ricorsivi di file o intere directory.

• Multi-threaded trasferimenti.

• Deduplicazione automatica che salta i file già presenti in Amazon S3.

• Riprova la logica con backoff esponenziale.

• Due modalità di configurazione: specifica diretta di Amazon S3 o ricerca in coda.

Carica specificando una coda:

python upload_to_job_attachments.py \
    --farm-id farm-1234567890abcdef \
    --queue-id queue-1234567890abcdef \
    --paths /path/to/files /path/to/directory

Oppure carica direttamente su un bucket e un prefisso Amazon S3:

python upload_to_job_attachments.py \
    --s3-bucket my-bucket \
    --s3-prefix job-attachments \
    --paths /path/to/files

Per reti ad alta larghezza di banda, aumenta e. --threads --max-concurrency Per ambienti con limiti di larghezza di banda, imposta la limitazione dei caricamenti. --max-bandwidth Per file di grandi --multipart-chunksize dimensioni, aumenta.

Per un'alternativa basata sul lavoro che copia i file tra bucket Amazon S3, consulta. Copia un prefisso S3 negli allegati di lavoro su Deadline Cloud