Criação de um armazenamento HealthOmics de sequências

HealthOmics os armazenamentos de sequência suportam o armazenamento de arquivos genômicos nos formatos não alinhados de FASTQ (somente gzip) e. uBAM Ele também suporta os formatos alinhados de BAM e. CRAM

Os arquivos importados são armazenados como conjuntos de leitura. Você pode adicionar tags aos conjuntos de leitura e usar políticas do IAM para controlar o acesso aos conjuntos de leitura. Os conjuntos de leitura alinhados exigem um genoma de referência para alinhar as sequências genômicas, mas é opcional para conjuntos de leitura não alinhados.

Para armazenar conjuntos de leitura, primeiro você cria um armazenamento de sequências. Ao criar um armazenamento de sequências, você pode especificar um bucket opcional do Amazon S3 como um local alternativo e o local em que os registros de acesso do S3 são armazenados. O local alternativo é usado para armazenar qualquer arquivo que não consiga criar um conjunto de leitura durante um upload direto. Os locais alternativos estão disponíveis para lojas de sequências criadas após 15 de maio de 2023. Você especifica o local de fallback ao criar o armazenamento de sequências.

Você pode especificar até cinco chaves de tag do conjunto de leitura. Quando você cria ou atualiza um conjunto de leitura com uma chave de tag que corresponde a uma dessas chaves, as tags do conjunto de leitura são propagadas para o objeto Amazon S3 correspondente. As tags do sistema criadas por HealthOmics são propagadas por padrão.

Criação de um armazenamento de sequências usando o console

Para criar um repositório de sequências

1. Abra o console do HealthOmics .

2. Se necessário, abra o painel de navegação esquerdo (≡). Escolha lojas de sequências.

3. Na página Criar armazenamento de sequências, forneça as seguintes informações

   • Nome da loja de sequência - Um nome exclusivo para essa loja.

   • Descrição (opcional) - Uma descrição desse armazenamento de sequências.

4. Para a localização do Fallback no S3, especifique uma localização do Amazon S3. HealthOmics usa o local alternativo para armazenar qualquer arquivo que não consiga criar um conjunto de leitura durante um upload direto. Você precisa conceder ao HealthOmics serviço acesso de gravação ao local alternativo do Amazon S3. Para visualizar um exemplo de política, consulte Configurar um local alternativo.

   Os locais alternativos não estão disponíveis para lojas de sequências criadas antes de 16 de maio de 2023.

5. (Opcional) Para chaves de tag do conjunto de leitura para propagação do S3, você pode inserir até cinco chaves do conjunto de leitura para propagar de um conjunto de leitura para os objetos subjacentes do S3. Ao propagar tags de um conjunto de leitura para o objeto S3, você pode conceder permissões de acesso ao S3 com base nas tags aos usuários and/or finais para ver as tags propagadas por meio da operação get API do Amazon S3. ObjectTagging

   1. Insira um valor chave na caixa de texto. O console cria uma nova caixa de texto para adicionar a próxima chave.

   2. (Opcional) Escolha Remover para remover todas as chaves.

6. Em Criptografia de dados, selecione se você deseja que a criptografia de dados seja de propriedade e gerenciada por AWS ou use uma CMK gerenciada pelo cliente.

7. (Opcional) Em Acesso aos dados do S3, selecione se deseja criar uma nova função e política para acessar o armazenamento de sequências por meio do Amazon S3.

8. (Opcional) Para o registro de acesso do S3, selecione Enabled se você deseja que o Amazon S3 colete registros do log de acesso.

   Para acessar o local de registro no S3, especifique um local do Amazon S3 para armazenar os registros. Esse campo estará visível somente se você tiver ativado o registro de acesso do S3.

9. Tags (opcional) - Forneça até 50 tags para esse armazenamento de sequência. Essas tags são separadas das tags do conjunto de leitura que são definidas durante a import/tag atualização do conjunto de leitura.

Depois de criar a loja, ela estará prontaImportação de arquivos genômicos.

Criação de um armazenamento de sequências usando a CLI

No exemplo a seguir, sequence store name substitua pelo nome que você escolheu para seu armazenamento de sequências.

aws omics create-sequence-store --name sequence store name --fallback-location "s3://amzn-s3-demo-bucket"  

Você recebe a seguinte resposta em JSON, que inclui o número de ID do seu repositório de sequências recém-criado.

{
    "id": "3936421177",
    "arn": "arn:aws:omics:us-west-2:111122223333:sequenceStore/3936421177",
    "name": "sequence_store_example_name",
    "creationTime": "2022-07-13T20:09:26.038Z"
    "fallbackLocation" : "s3://amzn-s3-demo-bucket"
}    

Você também pode visualizar todos os armazenamentos de sequências associados à sua conta usando o comando list-sequence-stores, conforme mostrado a seguir.

aws omics list-sequence-stores

Você recebe a seguinte resposta.

{
    "sequenceStores": [
        {
            "arn": "arn:aws:omics:us-west-2:111122223333:sequenceStore/3936421177",
            "id": "3936421177",
            "name": "MySequenceStore",
            "creationTime": "2022-07-13T20:09:26.038Z",
            "updatedTime": "2024-09-13T04:11:31.242Z",
            "fallbackLocation" : "s3://amzn-s3-demo-bucket",
            "status": "Active"
        }
    ]
}      

Você pode usar get-sequence-store para saber mais sobre um armazenamento de sequências usando seu ID, conforme mostrado no exemplo a seguir:

aws omics get-sequence-store --id sequence store ID                             

Você recebe a seguinte resposta:

{
  "arn": "arn:aws:omics:us-west-2:123456789012:sequenceStore/sequencestoreID",
  "creationTime": "2024-01-12T04:45:29.857Z",
  "updatedTime": "2024-09-13T04:11:31.242Z",
  "description": null,
  "fallbackLocation": null,
  "id": "2015356892",
  "name": "MySequenceStore",
  "s3Access": {
      "s3AccessPointArn": "arn:aws:s3:us-west-2:123456789012:accesspoint/592761533288-2015356892",
      "s3Uri": "s3://592761533288-2015356892-ajdpi90jdas90a79fh9a8ja98jdfa9jf98-s3alias/592761533288/sequenceStore/2015356892/",
      "accessLogLocation": "s3://IAD-seq-store-log/2015356892/"
  },
  "sseConfig": {
      "keyArn": "arn:aws:kms:us-west-2:123456789012:key/eb2b30f5-635d-4b6d-b0f9-d3889fe0e648",
      "type": "KMS"
  },
  "status": "Active",
  "statusMessage": null,
  "setTagsToSync": ["withdrawn","protocol"],
}                    

Após a criação, vários parâmetros da loja também podem ser atualizados. Isso pode ser feito por meio do console ou da updateSequenceStore operação da API.

Atualizando um repositório de sequências

Para atualizar um armazenamento de sequências, siga estas etapas:

1. Abra o console do HealthOmics .

2. Se necessário, abra o painel de navegação esquerdo (≡). Escolha lojas de sequências.

3. Escolha o armazenamento de sequências a ser atualizado.

4. No painel Detalhes, escolha Editar.

5. Na página Editar detalhes, você pode atualizar os seguintes campos:

   • Nome da loja de sequência - Um nome exclusivo para essa loja.

   • Descrição - Uma descrição desse armazenamento de sequências.

   • Local alternativo no S3, especifique um local do Amazon S3. HealthOmics usa o local alternativo para armazenar qualquer arquivo que não consiga criar um conjunto de leitura durante um upload direto.

   • Chaves de tag do conjunto de leitura para propagação do S3. Você pode inserir até cinco chaves do conjunto de leitura para propagar para o Amazon S3.

   • (Opcional) Para o registro de acesso do S3, selecione Enabled se você deseja que o Amazon S3 colete registros do log de acesso.

     Para acessar o local de registro no S3, especifique um local do Amazon S3 para armazenar os registros. Esse campo estará visível somente se você tiver ativado o registro de acesso do S3.

   • Tags (opcional) - Forneça até 50 tags para esse armazenamento de sequência.

Atualização de tags do conjunto de leitura para um armazenamento de sequências

Para atualizar as tags do conjunto de leitura ou outros campos para um armazenamento de sequências, siga estas etapas:

1. Abra o console do HealthOmics .

2. Se necessário, abra o painel de navegação esquerdo (≡). Escolha lojas de sequências.

3. Escolha o armazenamento de sequências que você deseja atualizar.

4. Escolha a guia Detalhes.

5. Escolha Editar.

6. Adicione novas tags do conjunto de leitura ou exclua as tags existentes, conforme necessário.

7. Atualize o nome, a descrição, o local alternativo ou o acesso aos dados do S3, conforme necessário.

8. Escolha Salvar alterações.

Importação de arquivos genômicos

Para importar arquivos genômicos para um armazenamento de sequências, siga estas etapas:

Para importar um arquivo genômico

1. Abra o console do HealthOmics .

2. Se necessário, abra o painel de navegação esquerdo (≡). Escolha escolher Armazenamentos de sequências.

3. Na página Armazenamentos de sequências, escolha o armazenamento de sequências para o qual você deseja importar seus arquivos.

4. Na página de armazenamento de sequências individuais, escolha Importar arquivos genômicos.

5. Na página Especificar detalhes da importação, forneça as seguintes informações

   • Função do IAM - A função do IAM que pode acessar os arquivos genômicos no Amazon S3.

   • Genoma de referência - O genoma de referência para esses dados genômicos.

6. Na página Especificar manifesto de importação, especifique o seguinte arquivo de manifesto de informações. O arquivo de manifesto é um arquivo JSON ou YAML que descreve informações essenciais de seus dados genômicos. Para obter informações sobre o arquivo de manifesto, consulteImportar conjuntos de leitura para um armazenamento de HealthOmics sequências.

7. Clique em Criar tarefa de importação.