HealthOmics 주석 저장소에 대한 가져오기 작업 생성 - AWS HealthOmics
API를 사용하여 주석 가져오기 작업 생성TSV 및 VCF 형식에 대한 추가 파라미터TSV 형식의 주석 저장소 생성VCF 형식의 가져오기 작업 시작

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

HealthOmics 주석 저장소에 대한 가져오기 작업 생성

API를 사용하여 주석 가져오기 작업 생성

다음 예제에서는를 사용하여 주석 가져오기 작업을 AWS CLI 시작하는 방법을 보여줍니다.

aws omics start-annotation-import-job \
           --destination-name myannostore \
           --version-name myannostore \
           --role-arn arn:aws:iam::123456789012:role/roleName \
           --items source=s3://my-omics-bucket/sample.vcf.gz
           --annotation-fields '{"VEP": "CSQ"}'

2023년 5월 15일 이전에 생성된 주석 저장소는 주석 필드가 포함된 경우 오류 메시지를 반환합니다. 주석 저장소 가져오기 작업과 관련된 API 작업에 대한 출력은 반환되지 않습니다.

그런 다음 get-annotation-import-job API 작업과 job ID 파라미터를 사용하여 주석 가져오기 작업에 대한 자세한 내용을 알아볼 수 있습니다.

aws omics get-annotation-import-job --job-id 9e4198fb-fa85-446c-9301-9b823a1a8ba8

주석 필드를 포함하여 다음과 같은 응답을 받게 됩니다.

{
          "creationTime": "2023-04-11T19:09:25.049767+00:00",
          "destinationName": "parsingannotationstore",
          "versionName": "parsingannotationstore",
          "id": "9e4198fb-fa85-446c-9301-9b823a1a8ba8",
          "items": [
              {
                  "jobStatus": "COMPLETED",
                  "source": "s3://my-omics-bucket/sample.vep.vcf"
              }
          ],
          "roleArn": "arn:aws:iam::55555555555:role/roleName",
          "runLeftNormalization": false,
          "status": "COMPLETED",
          "updateTime": "2023-04-11T19:13:09.110130+00:00",
          "annotationFields" : {"VEP": "CSQ"}
       }

모든 주석 저장소 가져오기 작업을 보려면 list-annotation-import-jobs를 사용합니다.

aws omics list-annotation-import-jobs --ids 9e4198fb-fa85-446c-9301-9b823a1a8ba8

응답에는 주석 저장소 가져오기 작업의 세부 정보와 상태가 포함됩니다.

{
          "annotationImportJobs": [
          {
              "creationTime": "2023-04-11T19:09:25.049767+00:00",
              "destinationName": "parsingannotationstore",
              "versionName": "parsingannotationstore",
              "id": "9e4198fb-fa85-446c-9301-9b823a1a8ba8",
              "roleArn": "arn:aws:iam::55555555555:role/roleName",
              "runLeftNormalization": false,
              "status": "COMPLETED",
              "updateTime": "2023-04-11T19:13:09.110130+00:00",
              "annotationFields" : {"VEP": "CSQ"}
          }
          ]
      }

TSV 및 VCF 형식에 대한 추가 파라미터

TSV 및 VCF 형식의 경우 입력 구문 분석 방법을 API에 알려주는 추가 파라미터가 있습니다.

중요

쿼리 엔진으로 내보낸 CSV 주석 데이터는 데이터 세트 가져오기의 정보를 직접 반환합니다. 가져온 데이터에 수식 또는 명령이 포함된 경우 파일에 CSV 삽입이 적용될 수 있습니다. 따라서 쿼리 엔진으로 내보낸 파일은 보안 경고를 표시할 수 있습니다. 악의적인 활동을 방지하려면 내보내기 파일을 읽을 때 링크와 매크로를 끄세요.

또한 TSV 구문 분석기는 다음 표에 나열된 유전체 좌표의 왼쪽 정규화 및 표준화와 같은 기본 생물 정보학 작업을 수행합니다.

형식 유형 설명
일반 일반 텍스트 파일. 게놈 정보가 없습니다.
CHR_POS 시작 위치 - 1,와 동일한 종료 위치 추가POS.
CHR_POS_REF_ALT contig, 1-base 위치, ref 및 alt 대립형질 정보를 포함합니다.
CHR_START_END_REF_ALT_ONE_BASE contig, start, end, ref 및 alt 대립형질 정보를 포함합니다. 좌표는 1 기반입니다.
CHR_START_END_ZERO_BASE contig, start 및 end 위치를 포함합니다. 좌표는 0을 기반으로 합니다.
CHR_START_END_ONE_BASE contig, start 및 end 위치를 포함합니다. 좌표는 1 기반입니다.
CHR_START_END_REF_ALT_ZERO_BASE contig, start, end, ref 및 alt 대립형질 정보를 포함합니다. 좌표는 0을 기반으로 합니다.

TSV 가져오기 주석 저장소 요청은 다음 예제와 같습니다.


aws omics start-annotation-import-job \
--destination-name tsv_anno_example \
--role-arn arn:aws:iam::555555555555:role/demoRole \
--items source=s3://demodata/genomic_data.bed.gz \
--format-options '{ "tsvOptions": {
        "readOptions": {
            "header": false,
            "sep": "\t"
        }
    }
}'

TSV 형식의 주석 저장소 생성

다음 예제에서는 헤더, 행 및 설명이 포함된 탭 제한 파일을 사용하여 주석 저장소를 생성합니다. 좌표는 이며CHR_START_END_ONE_BASED, OMIM의 인적 Gene Map 개요에 있는 HG19 Gene Map이 포함되어 있습니다. https://www.omim.org/downloads 

aws omics create-annotation-store --name mimgenemap \
  --store-format TSV \
  --reference=referenceArn=arn:aws:omics:us-west-2:555555555555:referenceStore/6505293348/reference/2310864158 \
  --store-options=tsvStoreOptions='{
    annotationType=CHR_START_END_ONE_BASE,  
    formatToHeader={CHR=chromosome, START=genomic_position_start, END=genomic_position_end},
    schema=[
      {chromosome=STRING}, 
      {genomic_position_start=LONG}, 
      {genomic_position_end=LONG}, 
      {cyto_location=STRING}, 
      {computed_cyto_location=STRING}, 
      {mim_number=STRING}, 
      {gene_symbols=STRING}, 
      {gene_name=STRING}, 
      {approved_gene_name=STRING}, 
      {entrez_gene_id=STRING}, 
      {ensembl_gene_id=STRING}, 
      {comments=STRING}, 
      {phenotypes=STRING}, 
      {mouse_gene_symbol=STRING}]}'

헤더를 사용하거나 사용하지 않고 파일을 가져올 수 있습니다. CLI 요청에서 이를 나타내려면 다음 가져오기 작업 예제와 header=false같이를 사용합니다.

aws omics start-annotation-import-job \
   --role-arn arn:aws:iam::555555555555:role/demoRole \
   --items=source=s3://amzn-s3-demo-bucket/annotation-examples/hg38_genemap2.txt \
   --destination-name output-bucket \
   --format-options=tsvOptions='{readOptions={sep="\t",header=false,comment="#"}}'

다음 예시에서는 침대 파일에 대한 주석 저장소를 생성합니다. 침대 파일은 탭으로 구분된 간단한 파일입니다. 이 예제에서 열은 염색체, 시작, 끝 및 리전 이름입니다. 좌표는 0을 기반으로 하며 데이터에 헤더가 없습니다.

aws omics create-annotation-store \
   --name cexbed --store-format TSV \
   --reference=referenceArn=arn:aws:omics:us-west-2:555555555555:referenceStore/6505293348/reference/2310864158 \
   --store-options=tsvStoreOptions='{
   annotationType=CHR_START_END_ZERO_BASE,  
   formatToHeader={CHR=chromosome, START=start, END=end}, 
   schema=[{chromosome=STRING}, {start=LONG}, {end=LONG}, {name=STRING}]}'

그런 다음 CLI 명령을 사용하여 Bed 파일을 주석 저장소로 가져올 수 있습니다.

aws omics start-annotation-import-job \
   --role-arn arn:aws:iam::555555555555:role/demoRole \
   --items=source=s3://amzn-s3-demo-bucket/TruSeq_Exome_TargetedRegions_v1.2.bed \ 
   --destination-name cexbed \
   --format-options=tsvOptions='{readOptions={sep="\t",header=false,comment="#"}}'

다음 예제에서는 VCF 파일의 처음 몇 개의 열과 주석 정보가 있는 열이 포함된 탭으로 구분된 파일에 대한 주석 저장소를 생성합니다. 여기에는 염색체, 시작, 참조 및 대체 대립형질에 대한 정보가 포함된 유전체 위치가 포함되며 헤더가 포함됩니다.

aws omics create-annotation-store --name gnomadchrx --store-format TSV \
--reference=referenceArn=arn:aws:omics:us-west-2:555555555555:referenceStore/6505293348/reference/2310864158 \
--store-options=tsvStoreOptions='{
    annotationType=CHR_POS_REF_ALT, 
    formatToHeader={CHR=chromosome, POS=start, REF=ref, ALT=alt}, 
    schema=[
        {chromosome=STRING}, 
        {start=LONG}, 
        {ref=STRING}, 
        {alt=STRING}, 
        {filters=STRING}, 
        {ac_hom=STRING}, 
        {ac_het=STRING},
        {af_hom=STRING}, 
        {af_het=STRING}, 
        {an=STRING}, 
        {max_observed_heteroplasmy=STRING}]}'

그런 다음 CLI 명령을 사용하여 파일을 주석 저장소로 가져옵니다.

aws omics start-annotation-import-job \
  --role-arn arn:aws:iam::555555555555:role/demoRole \
   --items=source=s3://amzn-s3-demo-bucket/gnomad.genomes.v3.1.sites.chrM.reduced_annotations.tsv \
   --destination-name gnomadchrx \
   --format-options=tsvOptions='{readOptions={sep="\t",header=true,comment="#"}}'

다음 예제에서는 고객이 mim2gene 파일에 대한 주석 저장소를 생성하는 방법을 보여줍니다. mim2gene 파일은 OMIM의 유전자와 다른 유전자 식별자 간의 링크를 제공합니다. 탭이 구분되어 있으며 주석이 포함되어 있습니다.

aws omics create-annotation-store \
  --name mim2gene \
  --store-format TSV \
  --reference=referenceArn=arn:aws:omics:us-west-2:555555555555:referenceStore/6505293348/reference/2310864158 \
  --store-options=tsvStoreOptions='
    {annotationType=GENERIC,      
    formatToHeader={}, 
    schema=[
        {mim_gene_id=STRING}, 
        {mim_type=STRING}, 
        {entrez_id=STRING}, 
        {hgnc=STRING}, 
        {ensembl=STRING}]}'

그런 다음 다음과 같이 스토어로 데이터를 가져올 수 있습니다.

aws omics start-annotation-import-job \
   --role-arn arn:aws:iam::555555555555:role/demoRole \
   --items=source=s3://xquek-dev-aws/annotation-examples/mim2gene.txt \
   --destination-name mim2gene \
   --format-options=tsvOptions='{readOptions={sep="\t",header=false,comment="#"}}'

VCF 형식의 가져오기 작업 시작

VCF 파일의 경우 표시된 대로 해당 파라미터를 무시하거나 포함하는 ignoreQualField 및 ignoreFilterField라는 두 개의 추가 입력이 있습니다.

aws omics start-annotation-import-job --destination-name annotation_example\
  --role-arn arn:aws:iam::555555555555:role/demoRole \
  --items source=s3://demodata/example.garvan.vcf \
  --format-options '{ "vcfOptions": {
    "ignoreQualField": false,
    "ignoreFilterField": false         
    }
   }'

그림과 같이 주석 저장소 가져오기를 취소할 수도 있습니다. 취소에 성공하면이 AWS CLI 호출에 대한 응답을 받지 못합니다. 그러나 가져오기 작업 ID를 찾을 수 없거나 가져오기 작업이 완료되면 오류 메시지가 표시됩니다.

aws omics cancel-annotation-import-job --job-id edd7b8ce-xmpl-47e2-bc99-258cac95a508
참고

get-annotation-import-job, get-variant-import-job, list-annotation-import-jobs 및 list-variant-import-jobs에 대한 메타데이터 가져오기 작업 기록은 2년 후에 자동으로 삭제됩니다. 가져온 변형 및 주석 데이터는 자동으로 삭제되지 않으며 데이터 스토어에 남아 있습니다.