Membuat pekerjaan impor untuk toko HealthOmics anotasi

Membuat pekerjaan impor anotasi menggunakan API

Contoh berikut menunjukkan cara menggunakan AWS CLI untuk memulai pekerjaan impor anotasi.

aws omics start-annotation-import-job \
           --destination-name myannostore \
           --version-name myannostore \
           --role-arn arn:aws:iam::123456789012:role/roleName \
           --items source=s3://my-omics-bucket/sample.vcf.gz
           --annotation-fields '{"VEP": "CSQ"}' 

Penyimpanan anotasi yang dibuat sebelum 15 Mei 2023 mengembalikan pesan kesalahan jika bidang anotasi disertakan. Mereka tidak mengembalikan output untuk operasi API apa pun yang terlibat dengan pekerjaan impor toko anotasi.

Anda kemudian dapat menggunakan operasi get-annotation-import-jobAPI dan job ID parameter untuk mempelajari detail selengkapnya tentang pekerjaan impor anotasi.

aws omics get-annotation-import-job --job-id 9e4198fb-fa85-446c-9301-9b823a1a8ba8         

Anda menerima respons berikut, termasuk bidang anotasi.

{
          "creationTime": "2023-04-11T19:09:25.049767+00:00",
          "destinationName": "parsingannotationstore",
          "versionName": "parsingannotationstore",
          "id": "9e4198fb-fa85-446c-9301-9b823a1a8ba8",
          "items": [
              {
                  "jobStatus": "COMPLETED",
                  "source": "s3://my-omics-bucket/sample.vep.vcf"
              }
          ],
          "roleArn": "arn:aws:iam::55555555555:role/roleName",
          "runLeftNormalization": false,
          "status": "COMPLETED",
          "updateTime": "2023-04-11T19:13:09.110130+00:00",
          "annotationFields" : {"VEP": "CSQ"}
       }   
         

Untuk melihat semua pekerjaan impor toko anotasi, gunakan list-annotation-import-jobs.

aws omics list-annotation-import-jobs --ids 9e4198fb-fa85-446c-9301-9b823a1a8ba8          

Tanggapan tersebut mencakup detail dan status pekerjaan impor toko anotasi Anda.

{
          "annotationImportJobs": [
          {
              "creationTime": "2023-04-11T19:09:25.049767+00:00",
              "destinationName": "parsingannotationstore",
              "versionName": "parsingannotationstore",
              "id": "9e4198fb-fa85-446c-9301-9b823a1a8ba8",
              "roleArn": "arn:aws:iam::55555555555:role/roleName",
              "runLeftNormalization": false,
              "status": "COMPLETED",
              "updateTime": "2023-04-11T19:13:09.110130+00:00",
              "annotationFields" : {"VEP": "CSQ"}
          }
          ]
      }   

Parameter tambahan untuk format TSV dan VCF

Untuk format TSV dan VCF, ada parameter tambahan yang menginformasikan API tentang cara mengurai input Anda.

penting

Data anotasi CSV yang diekspor dengan mesin kueri secara langsung mengembalikan informasi dari impor dataset. Jika data yang diimpor berisi rumus atau perintah, file tersebut mungkin tunduk pada injeksi CSV. Oleh karena itu, file yang diekspor dengan mesin kueri dapat meminta peringatan keamanan. Untuk menghindari aktivitas berbahaya, matikan tautan dan makro saat membaca file ekspor.

Pengurai TSV juga melakukan operasi bioinformatika dasar, seperti normalisasi kiri dan standardisasi koordinat genomik, yang tercantum dalam tabel berikut.

Jenis format	Deskripsi
Generik	File teks generik. Tidak ada informasi genom.
CHR_POS	Posisi awal - 1, Tambahkan posisi akhir, yang sama denganPOS.
CHR_POS_REF_ALT	Berisi informasi contig, posisi 1-basis, ref dan alt alel.
CHR_START_END_REF_ALT_ONE_BASE	Berisi informasi alel contig, start, end, ref dan alt. Koordinat berbasis 1.
CHR_START_END_ZERO_BASE	Berisi posisi contig, start, dan end. Koordinat berbasis 0.
CHR_START_END_ONE_BASE	Berisi posisi contig, start, dan end. Koordinat berbasis 1.
CHR_START_END_REF_ALT_ZERO_BASE	Berisi informasi alel contig, start, end, ref dan alt. Koordinat berbasis 0.

Permintaan penyimpanan anotasi impor TSV terlihat seperti contoh berikut.

aws omics start-annotation-import-job \
--destination-name tsv_anno_example \
--role-arn arn:aws:iam::555555555555:role/demoRole \
--items source=s3://demodata/genomic_data.bed.gz \
--format-options '{ "tsvOptions": {
        "readOptions": {
            "header": false,
            "sep": "\t"
        }
    }
}'  

Membuat toko anotasi berformat TSV

Contoh berikut membuat toko anotasi menggunakan file terbatas tab yang berisi header, baris, dan komentar. KoordinatnyaCHR_START_END_ONE_BASED, dan berisi peta HG19 gen dari Sinopsis Peta Gen Manusia OMIM.

aws omics create-annotation-store --name mimgenemap \
  --store-format TSV \
  --reference=referenceArn=arn:aws:omics:us-west-2:555555555555:referenceStore/6505293348/reference/2310864158 \
  --store-options=tsvStoreOptions='{
    annotationType=CHR_START_END_ONE_BASE,  
    formatToHeader={CHR=chromosome, START=genomic_position_start, END=genomic_position_end},
    schema=[
      {chromosome=STRING}, 
      {genomic_position_start=LONG}, 
      {genomic_position_end=LONG}, 
      {cyto_location=STRING}, 
      {computed_cyto_location=STRING}, 
      {mim_number=STRING}, 
      {gene_symbols=STRING}, 
      {gene_name=STRING}, 
      {approved_gene_name=STRING}, 
      {entrez_gene_id=STRING}, 
      {ensembl_gene_id=STRING}, 
      {comments=STRING}, 
      {phenotypes=STRING}, 
      {mouse_gene_symbol=STRING}]}' 

Anda dapat mengimpor file dengan atau tanpa header. Untuk menunjukkan ini dalam permintaan CLI, gunakanheader=false, seperti yang ditunjukkan dalam contoh pekerjaan impor berikut.

aws omics start-annotation-import-job \
   --role-arn arn:aws:iam::555555555555:role/demoRole \
   --items=source=s3://amzn-s3-demo-bucket/annotation-examples/hg38_genemap2.txt \
   --destination-name output-bucket \
   --format-options=tsvOptions='{readOptions={sep="\t",header=false,comment="#"}}' 

Contoh berikut membuat toko anotasi untuk file tempat tidur. File tempat tidur adalah file tab yang dibatasi sederhana. Dalam contoh ini, kolomnya adalah kromosom, awal, akhir, dan nama wilayah. Koordinat berbasis nol, dan data tidak memiliki header.

aws omics create-annotation-store \
   --name cexbed --store-format TSV \
   --reference=referenceArn=arn:aws:omics:us-west-2:555555555555:referenceStore/6505293348/reference/2310864158 \
   --store-options=tsvStoreOptions='{
   annotationType=CHR_START_END_ZERO_BASE,  
   formatToHeader={CHR=chromosome, START=start, END=end}, 
   schema=[{chromosome=STRING}, {start=LONG}, {end=LONG}, {name=STRING}]}'             

Anda kemudian dapat mengimpor file tempat tidur ke toko anotasi dengan menggunakan perintah CLI berikut.

aws omics start-annotation-import-job \
   --role-arn arn:aws:iam::555555555555:role/demoRole \
   --items=source=s3://amzn-s3-demo-bucket/TruSeq_Exome_TargetedRegions_v1.2.bed \ 
   --destination-name cexbed \
   --format-options=tsvOptions='{readOptions={sep="\t",header=false,comment="#"}}'              

Contoh berikut membuat penyimpanan anotasi untuk file tab dibatasi yang berisi beberapa kolom pertama dari file VCF, diikuti oleh kolom dengan informasi anotasi. Ini berisi posisi genom dengan informasi tentang kromosom, awal, referensi dan alel alternatif, dan berisi header.

aws omics create-annotation-store --name gnomadchrx --store-format TSV \
--reference=referenceArn=arn:aws:omics:us-west-2:555555555555:referenceStore/6505293348/reference/2310864158 \
--store-options=tsvStoreOptions='{
    annotationType=CHR_POS_REF_ALT, 
    formatToHeader={CHR=chromosome, POS=start, REF=ref, ALT=alt}, 
    schema=[
        {chromosome=STRING}, 
        {start=LONG}, 
        {ref=STRING}, 
        {alt=STRING}, 
        {filters=STRING}, 
        {ac_hom=STRING}, 
        {ac_het=STRING},
        {af_hom=STRING}, 
        {af_het=STRING}, 
        {an=STRING}, 
        {max_observed_heteroplasmy=STRING}]}'          

Anda kemudian akan mengimpor file ke toko anotasi menggunakan perintah CLI berikut.

aws omics start-annotation-import-job \
  --role-arn arn:aws:iam::555555555555:role/demoRole \
   --items=source=s3://amzn-s3-demo-bucket/gnomad.genomes.v3.1.sites.chrM.reduced_annotations.tsv \
   --destination-name gnomadchrx \
   --format-options=tsvOptions='{readOptions={sep="\t",header=true,comment="#"}}'            

Contoh berikut menunjukkan bagaimana pelanggan dapat membuat penyimpanan anotasi untuk file mim2gene. File MIM2gene menyediakan hubungan antara gen di OMIM dan pengidentifikasi gen lainnya. Ini tab dibatasi dan berisi komentar.

aws omics create-annotation-store \
  --name mim2gene \
  --store-format TSV \
  --reference=referenceArn=arn:aws:omics:us-west-2:555555555555:referenceStore/6505293348/reference/2310864158 \
  --store-options=tsvStoreOptions='
    {annotationType=GENERIC,      
    formatToHeader={}, 
    schema=[
        {mim_gene_id=STRING}, 
        {mim_type=STRING}, 
        {entrez_id=STRING}, 
        {hgnc=STRING}, 
        {ensembl=STRING}]}'                       

Anda kemudian dapat mengimpor data ke toko Anda sebagai berikut.

aws omics start-annotation-import-job \
   --role-arn arn:aws:iam::555555555555:role/demoRole \
   --items=source=s3://xquek-dev-aws/annotation-examples/mim2gene.txt \
   --destination-name mim2gene \
   --format-options=tsvOptions='{readOptions={sep="\t",header=false,comment="#"}}'         

Memulai pekerjaan impor berformat VCF

Untuk file VCF, ada dua input tambahan, ignoreQualField danignoreFilterField, yang mengabaikan atau menyertakan parameter tersebut seperti yang ditunjukkan.

aws omics start-annotation-import-job --destination-name annotation_example\
  --role-arn arn:aws:iam::555555555555:role/demoRole \
  --items source=s3://demodata/example.garvan.vcf \
  --format-options '{ "vcfOptions": {
    "ignoreQualField": false,
    "ignoreFilterField": false         
    }
   }'    

Anda juga dapat membatalkan impor toko anotasi, seperti yang ditunjukkan. Jika pembatalan berhasil, Anda tidak menerima tanggapan atas panggilan ini AWS CLI . Namun, jika ID pekerjaan impor tidak ditemukan atau pekerjaan impor selesai, Anda menerima pesan kesalahan.

aws omics cancel-annotation-import-job --job-id edd7b8ce-xmpl-47e2-bc99-258cac95a508

catatan

Riwayat pekerjaan impor metadata Anda untuk get-annotation-import-job,, get-variant-import-joblist-annotation-import-jobs, dan dihapus list-variant-import-jobssecara otomatis setelah dua tahun. Varian dan anotasi data yang diimpor tidak otomatis dihapus dan tetap berada di penyimpanan data Anda.