Membuat alur kerja menggunakan konsol Membuat alur kerja menggunakan CLI Membuat alur kerja menggunakan SDK

Buat alur kerja pribadi

Buat alur kerja menggunakan HealthOmics konsol, perintah AWS CLI, atau salah satu. AWS SDKs

catatan

Jangan sertakan informasi identitas pribadi (PII) apa pun dalam nama alur kerja. Nama-nama ini terlihat di CloudWatch log.

Saat Anda membuat alur kerja, HealthOmics tetapkan pengenal unik universal (UUID) ke alur kerja. UUID alur kerja adalah Pengenal Unik Global (panduan) yang unik di seluruh alur kerja dan versi alur kerja. Untuk tujuan asal data, kami menyarankan Anda menggunakan UUID alur kerja untuk mengidentifikasi alur kerja secara unik.

Jika tugas alur kerja Anda menggunakan alat eksternal (executable, pustaka, atau skrip), Anda membuat alat ini menjadi gambar kontainer. Anda memiliki opsi berikut untuk menghosting gambar kontainer:

Host gambar kontainer di registri pribadi ECR. Prasyarat untuk opsi ini:
- Buat repositori pribadi ECR, atau pilih repositori yang ada.
- Konfigurasikan kebijakan sumber daya ECR seperti yang dijelaskan dalamIzin Amazon ECR.
- Unggah gambar kontainer Anda ke repositori pribadi.
Sinkronkan gambar kontainer dengan konten registri pihak ketiga yang didukung. Prasyarat untuk opsi ini:
- Dalam registri pribadi ECR, konfigurasikan aturan pull through cache untuk setiap registri upstream. Untuk informasi selengkapnya, lihat Pemetaan gambar .
- Konfigurasikan kebijakan sumber daya ECR seperti yang dijelaskan dalamIzin Amazon ECR.
- Buat template pembuatan repositori. Template menentukan pengaturan saat Amazon ECR membuat repositori pribadi untuk registri upstream.
- Buat pemetaan awalan untuk memetakan ulang referensi gambar kontainer dalam definisi alur kerja ke ruang nama cache ECR.

Membuat alur kerja menggunakan konsol

Langkah-langkah untuk membuat alur kerja

Buka konsol HealthOmics .
Jika diperlukan, buka panel navigasi kiri (≡). Pilih Alur kerja pribadi.
Pada halaman alur kerja pribadi, pilih Buat alur kerja.
Pada halaman Tentukan alur kerja, berikan informasi berikut:
1. Nama alur kerja: Nama khas untuk alur kerja ini. Sebaiknya setel nama alur kerja untuk mengatur proses Anda di AWS HealthOmics konsol dan CloudWatch log.
2. Deskripsi (opsional): Deskripsi alur kerja ini.
Di panel definisi Alur Kerja, berikan informasi berikut:
1. Bahasa alur kerja (opsional): Pilih bahasa spesifikasi alur kerja. Jika tidak, HealthOmics tentukan bahasa dari definisi alur kerja.
2. Untuk sumber definisi Alur Kerja, pilih untuk mengimpor folder definisi dari repositori berbasis Git, lokasi Amazon S3, atau dari drive lokal.
  1. Untuk Impor dari layanan repositori:
    
    catatan
    HealthOmics mendukung repositori publik dan pribadi untukGitHub,,, GitLabBitbucket,GitHub self-managed. GitLab self-managed
    
    Pilih Koneksi untuk menghubungkan AWS sumber daya Anda ke repositori eksternal. Untuk membuat koneksi, lihatConnect dengan repositori kode eksternal.
    
    catatan
    Pelanggan di TLV wilayah tersebut perlu membuat koneksi di wilayah IAD (us-east-1) untuk membuat alur kerja.
    
    Dalam ID repositori lengkap, masukkan ID repositori Anda sebagai nama pengguna/repo-nama. Pastikan Anda memiliki akses ke file di repositori ini.
    
    Dalam referensi Sumber (opsional), masukkan referensi sumber repositori (cabang, tag, atau ID komit). HealthOmics menggunakan cabang default jika tidak ada referensi sumber yang ditentukan.
    
    Di Kecualikan pola file, masukkan pola file untuk mengecualikan folder, file, atau ekstensi tertentu. Ini membantu mengelola ukuran data saat mengimpor file repositori. Ada maksimal 50 pola, dan pola harus mengikuti sintaks pola glob. Misalnya:
    
    tests/
    
    *.jpeg
    
    large_data.zip
  2. Untuk Pilih folder definisi dari S3:
    
    Masukkan lokasi Amazon S3 yang berisi folder definisi alur kerja zip. Bucket Amazon S3 harus berada di wilayah yang sama dengan alur kerja.
    
    Jika akun Anda tidak memiliki bucket Amazon S3, masukkan ID akun pemilik bucket di ID AWS akun pemilik bucket S3. Informasi ini diperlukan agar HealthOmics dapat memverifikasi kepemilikan bucket.
  3. Untuk Pilih folder definisi dari sumber lokal:
    
    Masukkan lokasi drive lokal dari folder definisi alur kerja zip.
3. Jalur file definisi alur kerja utama (opsional): Masukkan jalur file dari folder definisi alur kerja zip atau repositori ke file. main Parameter ini tidak diperlukan jika hanya ada satu file di folder definisi alur kerja, atau jika file utama diberi nama “main”.
Di panel file README (opsional), pilih Sumber file README dan berikan informasi berikut:
- Untuk Impor dari layanan repositori, di jalur file README, masukkan path ke file README dalam repositori.
- Untuk Pilih file dari S3, dalam file README di S3, masukkan URI Amazon S3 untuk file README.
- Untuk Pilih file dari sumber lokal: di README - opsional, pilih Pilih file untuk memilih file penurunan harga (.md) yang akan diunggah.
Di panel konfigurasi penyimpanan run default, berikan tipe penyimpanan run default dan kapasitas untuk menjalankan yang menggunakan alur kerja ini:
1. Jalankan jenis penyimpanan: Pilih apakah akan menggunakan penyimpanan statis atau dinamis sebagai default untuk penyimpanan berjalan sementara. Defaultnya adalah penyimpanan statis.
2. Jalankan kapasitas penyimpanan (opsional): Untuk jenis penyimpanan run statis, Anda dapat memasukkan jumlah default penyimpanan run yang diperlukan untuk alur kerja ini. Nilai default untuk parameter ini adalah 1200 GiB. Anda dapat mengganti nilai default ini saat memulai proses.
Tag (opsional): Anda dapat mengaitkan hingga 50 tag dengan alur kerja ini.
Pilih Berikutnya.
Pada halaman Tambahkan parameter alur kerja (opsional), pilih sumber Parameter:
1. Untuk Parse dari file definisi alur kerja, secara otomatis HealthOmics akan mengurai parameter alur kerja dari file definisi alur kerja.
2. Untuk menyediakan template parameter dari repositori Git, gunakan path ke file template parameter dari repositori Anda.
3. Untuk Pilih file JSON dari sumber lokal, unggah JSON file dari sumber lokal yang menentukan parameter.
4. Untuk Masukkan parameter alur kerja secara manual, masukkan nama dan deskripsi parameter secara manual.
Di panel pratinjau Parameter, Anda dapat meninjau atau mengubah parameter untuk versi alur kerja ini. Jika Anda mengembalikan JSON file, Anda kehilangan perubahan lokal yang Anda buat.
Pilih Berikutnya.
Pada halaman pemetaan ulang URI Container, di panel aturan Pemetaan, Anda dapat menentukan aturan pemetaan URI untuk alur kerja Anda.

Untuk Sumber file pemetaan, pilih salah satu opsi berikut:
- Tidak ada - Tidak ada aturan pemetaan yang diperlukan.
- Pilih file JSON dari S3 - Tentukan lokasi S3 untuk file pemetaan.
- Pilih file JSON dari sumber lokal - Tentukan lokasi file pemetaan di perangkat lokal Anda.
- Masukkan pemetaan secara manual - masukkan pemetaan registri dan pemetaan gambar di panel Pemetaan.
Konsol menampilkan panel Pemetaan. Jika Anda memilih file sumber pemetaan, konsol menampilkan nilai dari file.
1. Dalam pemetaan Registry, Anda dapat mengedit pemetaan atau menambahkan pemetaan (maksimum 20 pemetaan registri).
  
  Setiap pemetaan registri berisi bidang-bidang berikut:
  - URL registri hulu — URI dari registri hulu.
  - Awalan repositori ECR - Awalan repositori untuk digunakan dalam repositori pribadi Amazon ECR.
  - (Opsional) Awalan repositori hulu - Awalan repositori di registri hulu.
  - (Opsional) ID akun ECR — ID akun akun yang memiliki gambar kontainer hulu.
2. Dalam pemetaan Gambar, Anda dapat mengedit pemetaan gambar atau menambahkan pemetaan (maksimum 100 pemetaan gambar).
  
  Setiap pemetaan gambar berisi bidang-bidang berikut:
  - Gambar sumber - Menentukan URI gambar sumber di registri hulu.
  - Gambar tujuan - Menentukan URI gambar yang sesuai di registri ECR Amazon pribadi.
Pilih Berikutnya.
Tinjau konfigurasi alur kerja, lalu pilih Buat alur kerja.

Membuat alur kerja menggunakan CLI

Setelah Anda menentukan alur kerja dan parameter, Anda dapat membuat alur kerja menggunakan CLI seperti yang ditunjukkan.


aws omics create-workflow  \
  --name "my_workflow"   \
  --definition-zip fileb://my-definition.zip \
  --parameter-template file://my-parameter-template.json

Jika file definisi alur kerja Anda terletak di folder Amazon S3, masukkan lokasi menggunakan parameter, definition-uri bukan. definition-zip Untuk informasi selengkapnya, lihat CreateWorkflowdi AWS HealthOmics API Referensi.

create-workflowPermintaan merespons dengan yang berikut:


{
  "arn": "arn:aws:omics:us-west-2:....",
  "id": "1234567",
  "status": "CREATING",
  "tags": {
      "resourceArn": "arn:aws:omics:us-west-2:...."
  },
  "uuid": "64c9a39e-8302-cc45-0262-2ea7116d854f"
}

Parameter opsional untuk digunakan saat membuat alur kerja

Anda dapat menentukan salah satu parameter opsional saat membuat alur kerja. Untuk detail sintaks, lihat CreateWorkflowdi AWS HealthOmics API Referensi.

Topik

Konfigurasikan parameter pemetaan cache pull through
Tentukan definition-uri parameternya
Tentukan file main definisi
Menggunakan parameter penyimpanan run
Menggunakan accelerators parameter

Konfigurasikan parameter pemetaan cache pull through

Jika Anda menggunakan fitur pemetaan cache Amazon ECR pull through, Anda dapat mengganti pemetaan default. Untuk informasi selengkapnya tentang parameter penyiapan kontainer, lihatGambar kontainer untuk alur kerja pribadi.

Dalam contoh berikut, file mappings.json berisi konten ini:


{
    "registryMappings": [
        {
            "upstreamRegistryUrl": "registry-1.docker.io",
            "ecrRepositoryPrefix": "docker-hub"
        },
        {
            "upstreamRegistryUrl": "quay.io",
            "ecrRepositoryPrefix": "quay",
            "accountId": "123412341234"
        },
        {

            "upstreamRegistryUrl": "public.ecr.aws",
            "ecrRepositoryPrefix": "ecr-public"
        }
    ],
    "imageMappings": [{
            "sourceImage": "docker.io/library/ubuntu:latest",
            "destinationImage": "healthomics-docker-2/custom/ubuntu:latest",
            "accountId": "123412341234"
        },
        {
            "sourceImage": "nvcr.io/nvidia/k8s/dcgm-exporter",
            "destinationImage": "healthomics-nvidia/k8s/dcgm-exporter"
        }
    ]
}

Tentukan parameter pemetaan dalam perintah create-workflow:


aws omics create-workflow  \
     ...
--container-registry-map-file file://mappings.json
    ...

Anda juga dapat menentukan lokasi S3 dari file parameter pemetaan:


aws omics create-workflow  \
     ...
--container-registry-map-uri s3://amzn-s3-demo-bucket1/test.zip
    ...

Tentukan definition-uri parameternya

Jika Anda menyertakan beberapa file definisi alur kerja, gunakan main parameter untuk menentukan file mana yang merupakan file definisi utama untuk alur kerja Anda.

Jika Anda mengunggah file definisi alur kerja ke folder Amazon S3, tentukan lokasi menggunakan parameter, seperti definition-uri yang ditunjukkan pada contoh berikut. Jika akun Anda tidak memiliki bucket Amazon S3, berikan ID pemiliknya. Akun AWS


aws omics create-workflow  \
  --name Test  \
  --definition-uri s3://omics-bucket/workflow-definition/  \
  --owner-id  123456789012 
    ...

Tentukan file main definisi

Jika Anda menyertakan beberapa file definisi alur kerja, gunakan main parameter untuk menentukan file definisi utama untuk alur kerja Anda.


aws omics create-workflow  \
  --name Test  \
  --main multi_workflow/workflow2.wdl  \
    ...

Menggunakan parameter penyimpanan run

Anda dapat menentukan jenis penyimpanan run default (DYNAMIC atau STATIC) dan menjalankan kapasitas penyimpanan (diperlukan untuk penyimpanan statis). Untuk informasi selengkapnya tentang menjalankan jenis penyimpanan, lihatJalankan jenis penyimpanan dalam HealthOmics alur kerja.


aws omics create-workflow  \
  --name my_workflow   \
  --definition-zip fileb://my-definition.zip \
  --parameter-template file://my-parameter-template.json   \
  --storage-type 'STATIC'  \
  --storage-capacity 1200  \

Menggunakan accelerators parameter

Gunakan parameter akselerator untuk membuat alur kerja yang berjalan pada instance komputasi yang dipercepat. Contoh berikut menunjukkan bagaimana menggunakan accelerators parameter. Anda menentukan konfigurasi GPU dalam definisi alur kerja. Lihat Instans komputasi yang dipercepat.


aws omics create-workflow --name workflow name \
   --definition-uri s3://amzn-s3-demo-bucket1/GPUWorkflow.zip \
   --accelerators GPU

Membuat alur kerja menggunakan SDK

Anda dapat membuat alur kerja menggunakan salah satu. SDKs Contoh berikut menunjukkan cara membuat alur kerja menggunakan Python SDK


import boto3

omics = boto3.client('omics')

with open('definition.zip', 'rb') as f:
   definition = f.read()

response = omics.create_workflow(
   name='my_workflow',
   definitionZip=definition,
   parameterTemplate={ ... }
)

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Membuat atau memperbarui alur kerja

Memperbarui alur kerja