Trabalhos no AWS Data Exchange - AWS Data Exchange Guia do usuário

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Trabalhos no AWS Data Exchange

Os trabalhos AWS Data Exchange são operações assíncronas de importação ou exportação.

Como provedor, você pode criar e gerenciar os conjuntos de dados que deseja publicar em um produto. Você pode fazer download (exportar) ou copiar ativos ou revisões para o Amazon Simple Storage Service (Amazon S3) ou para um URL assinado. Além disso, os provedores podem importar ativos de uma API do Amazon API Gateway ou importar ativos de um conjunto de dados do Amazon Redshift.

Como assinante, você pode visualizar e acessar os conjuntos de dados aos quais tem direito por meio de uma assinatura. Você pode usar as operações de API para fazer download (exportar) ou copiar conjuntos de dados autorizados para o Amazon S3 para uso com uma variedade de serviços de análise e machine learning da AWS.

Para criar ou copiar ativos ou copiar revisões por meio de trabalhos, você pode usar o AWS Management Console, AWS Command Line Interface (AWS CLI), seu próprio aplicativo REST ou um dos AWS SDKs.

Os trabalhos são excluídos 90 dias após serem criados.

Propriedades do trabalho

Os trabalhos são compatíveis com as seguintes propriedades:

  • Job ID — Um ID gerado quando o trabalho é criado e que identifica o trabalho de forma exclusiva.

  • Job type — Os seguintes tipos de trabalho são compatíveis:

    • Importar do Amazon S3

    • Importar uma permissão de dados AWS Lake Formation (Visualização)

    • Importar de um URL assinado

    • Importar da API do Amazon API Gateway

    • Importar de uma unidade de compartilhamento de dados do AWS Data Exchange para o Amazon Redshift

    • Importar um acesso aos dados do Amazon S3

    • Exportar para o Amazon S3.

    • Exportar para URL assinado

  • Nome do recurso da Amazon (ARN) — Um identificador exclusivo para recursos da AWS.

  • Estado do trabalho — Os estados do trabalho são WAITING, IN_PROGRESS, COMPLETED, CANCELLED, ERROR ou TIMED_OUT. Quando um trabalho é criado, ele fica no estado WAITING até que o trabalho seja iniciado.

  • Detalhes do trabalho — Informações da operação a ser executada pelo trabalho, como informações de destino de exportação ou informações de origem de importação.

exemplo recurso de trabalho
{ "Arn": "arn:aws:dataexchange:us-east-1:123456789012:jobs/6cEXAMPLE818f7c7a23b3d0EXAMPLE1c", "Id": "6cEXAMPLE818f7c7a23b3d0EXAMPLE1c", "State": "COMPLETED", "Type": "IMPORT_ASSETS_FROM_S3", "CreatedAt": "2019-10-11T14:12:24.640Z", "UpdatedAt": "2019-10-11T14:13:00.804Z", "Details": { "ImportAssetsFromS3": { "AssetSources": [ { "Bucket": "DOC-EXAMPLE-BUCKET", "Key": "MyKey" } ], "DataSetId": "14EXAMPLE4460dc9b005a0dEXAMPLE2f", "RevisionId": "e5EXAMPLE224f879066f999EXAMPLE42" } } }

Regiões da AWS e trabalhos

Se você importar ou exportar um ativo de ou para um bucket do Amazon S3 que esteja em uma Região da AWS diferente da região do conjunto de dados, sua Conta da AWS será cobrada pelos custos de transferência de dados, de acordo com as políticas de preços de transferência de dados do Amazon S3.

Se você exportar ativos para um URL assinado, sua Conta da AWS será cobrada pelos custos de transferência de dados do Amazon S3 para a Internet, de acordo com as políticas de preços do Amazon S3.

Quando sua assinatura de um conjunto de dados do AWS Data Exchange para Arquivos terminar, você reterá acesso a todos os arquivos que já exportou. Revise seu Contrato de Assinatura de Dados para verificar se ele exige que você exclua os dados exportados ao encerrar uma assinatura.

Importar ativos

Você pode importar ativos para uma revisão das seguintes maneiras:

Importar ativos de um bucket do S3

Ao importar ativos do Amazon S3 para o AWS Data Exchange, as permissões do AWS Identity and Access Management (IAM) usadas devem incluir a capacidade de gravar nos buckets S3 do serviço AWS Data Exchange e de ler no bucket do S3 em que seus ativos estão armazenados. Você pode importar de qualquer bucket do S3 ao qual tenha permissão de acesso, independentemente da propriedade. Para obter mais informações, consulte Permissões do Amazon S3.

Você pode importar até 100 ativos em um único trabalho.

Importar ativos de um bucket do S3 (AWS SDKs)

Para importar ativos de um bucket do Amazon S3 (AWS SDKs)
  1. Crie uma solicitação CreateJob do tipo IMPORT_ASSETS_FROM_S3.

  2. Inclua o seguinte na solicitação:

    • AssetSources

      • Bucket

      • Key

    • DataSetID

    • RevisionID

  3. Inicie a solicitação CreateJob com uma operação StartJob que requer o retorno de JobId na etapa 1.

  4. (Opcional) Atualize a propriedade do nome dos ativos após a criação.

Importar ativos de um bucket do S3 (console)

Para importar um ativo de um bucket do S3 (console)
  1. Abra o navegador e faça login no console do AWS Data Exchange.

  2. No painel de navegação à esquerda, em Publicar dados, selecione Conjuntos de dados de propriedade.

  3. Em Conjuntos de dados de propriedade, escolha o conjunto de dados que tem a revisão que você quer atualizar.

  4. Na guia Revisões, selecione Criar revisão para abrir a página Criar revisão.

    1. Em Configurações de revisão, forneça um comentário opcional para sua revisão que descreva a finalidade da revisão.

    2. Em Adicionar tags — opcional, adicione tags associadas ao recurso.

    3. Escolha Create (Criar).

      A nova revisão foi criada.

  5. Na seção Trabalhos, selecione Importar do Amazon S3.

  6. Siga as instruções na janela Importar do Amazon S3 e selecione Importar ativos.

    Um trabalho é iniciado para importar o ativo para o conjunto de dados. Após a conclusão do trabalho, o campo Estado na seção Trabalhos será atualizado para Concluído.

Importar ativos de um URL assinado

Você pode usar URLs assinados para importar ativos que não estão armazenados no Amazon S3.

Importar ativos de um URL assinado (AWS SDKs)

Para importar ativos de um URL assinado (AWS SDKs)
  1. Crie uma solicitação CreateJob do tipo IMPORT_ASSET_FROM_SIGNED_URL.

  2. Inclua o seguinte na solicitação:

    • AssetName

    • DataSetID

    • Md5Hash

    • RevisionID

  3. Inicie a solicitação CreateJob com uma operação StartJob que requer o retorno da JobId na etapa 1.

  4. (Opcional) Atualize a propriedade do nome dos ativos após a criação.

  5. As informações da resposta incluem o SignedUrl que você conseguir usar para importar seu arquivo.

nota

O URL assinado expira um minuto após ser criado.

Importar ativos de um URL assinado (console)

Para importar um ativo de um URL assinado (console)
  1. Abra o navegador e faça login no console do AWS Data Exchange.

  2. No painel de navegação à esquerda, em Publicar dados, selecione Conjuntos de dados de propriedade.

  3. Em Conjuntos de dados de propriedade, selecione o conjunto de dados que tem o ativo que você quer atualizar.

  4. Na guia Revisões, selecione Criar revisão para abrir a página Criar revisão.

    1. Em Configurações de revisão, forneça um comentário opcional para sua revisão que descreva a finalidade da revisão.

    2. Em Adicionar tags — opcional, adicione tags associadas ao recurso.

    3. Escolha Create (Criar).

      A nova revisão foi criada.

  5. Na seção Trabalhos, selecione Upload.

  6. Siga as instruções na janela de upload e selecione Abrir.

    Um trabalho é iniciado para importar o ativo para o conjunto de dados. Após a conclusão do trabalho, o campo Estado na seção Trabalhos será atualizado para Concluído.

Importar ativos de uma API do Amazon API Gateway

Os assinantes do AWS Data Exchange podem usar suas credenciais do IAM e SDKs da AWS para chamar APIs de provedores de dados. O AWS Data Exchange gerencia o acesso às APIs gerenciando a autenticação e os direitos de assinatura.

Importar ativos de API de uma API do Amazon API Gateway (AWS SDKs)

nota

Atualmente, a operação SendApiAsset não é compatível com os seguintes SDKs:

  • AWS SDK for .NET

  • AWS SDK for C++

  • AWS SDK for Java 2.x

Para importar ativos de uma API do Amazon API Gateway (AWS SDKs)
  1. Crie uma solicitação CreateJob do tipo IMPORT_ASSET_FROM_API_GATEWAY_API.

  2. Inclua o seguinte na solicitação:

    • ApiID

    • DataSetID

    • ProtocolType

    • RevisionID

    • Stage

  3. Inicie a solicitação CreateJob com uma operação StartJob que requer o retorno da JobId na etapa 1.

  4. (Opcional) Pesquise a operação GetJob para aguardar a conclusão do trabalho.

  5. (Opcional) Atualize a propriedade do nome dos ativos após a criação.

Importar ativos de API de uma API do Amazon API Gateway (console)

Para importar um ativo de uma API do Amazon API Gateway (console)
  1. Abra o navegador e faça login no console do AWS Data Exchange.

  2. No painel de navegação à esquerda, em Publicar dados, selecione Conjuntos de dados de propriedade.

  3. Em Conjuntos de dados de propriedade, selecione o conjunto de dados que tem o ativo que você deseja atualizar.

  4. Na guia Revisões, selecione Criar revisão para abrir a página Criar revisão.

    1. Em Configurações de revisão, forneça um comentário opcional para sua revisão que descreva a finalidade da revisão.

    2. Em Adicionar tags — opcional, adicione tags associadas ao recurso.

    3. Escolha Create (Criar).

      A nova revisão foi criada.

  5. Na seção de Ativos da API, selecione Adicionar estágio da API.

  6. Na página Adicionar estágio da API, selecione a API do Amazon API Gateway e o Nome do palco da sua Conta da AWS ou de outra conta.

  7. Em API de documentos para assinantes:

    1. Atualize o Nome da API para um nome claro e conciso que os assinantes possam entender.

    2. Documente a especificação OpenAPI 3.0 inserindo a especificação no campo, importando a especificação escolhendo Importar do arquivo .JSON ou importando a especificação escolhendo Importar do Amazon API Gateway.

  8. Selecione Adicionar estágio de API.

    Um trabalho é iniciado para importar seus ativos de API para o conjunto de dados. Após a conclusão do trabalho, o campo Estado na seção Trabalhos será atualizado para Concluído.

Importar ativos de uma unidade de compartilhamento de dados do AWS Data Exchange para o Amazon Redshift

Ao importar ativos usando a unidade de compartilhamento de dados do AWS Data Exchange para o Amazon Redshift, você pode começar a consultar, analisar e operacionalizar tabelas de terceiros do Amazon Redshift após a assinatura.

Importar ativos de uma unidade de compartilhamento de dados do AWS Data Exchange para o Amazon Redshift (AWS SDKs)

Para importar ativos de uma unidade de compartilhamento de dados do AWS Data Exchange para o Amazon Redshift (AWS SDKs)
  1. Crie uma solicitação CreateJob do tipo IMPORT_ASSETS_FROM_REDSHIFT_DATA_SHARES.

  2. Inclua o seguinte na solicitação:

    • AssetSources

      • DataShareArn

    • DataSetID

    • RevisionID

  3. Inicie a solicitação CreateJob com uma operação StartJob que exija o retorno JobId na etapa 1.

  4. (Opcional) Pesquise a operação GetJob para aguardar a conclusão do trabalho.

  5. (Opcional) Atualize a propriedade do nome dos ativos após sua criação.

Importar ativos de uma unidade de compartilhamento de dados do AWS Data Exchange para o Amazon Redshift (console)

Para importar um ativo de uma unidade de compartilhamento de dados do ADE (para o console do Amazon Redshift)
  1. Abra o navegador e faça login no console do AWS Data Exchange.

  2. No painel de navegação à esquerda, em Publicar dados, selecione Conjuntos de dados de propriedade.

  3. Em Conjuntos de dados propriedade, selecione o conjunto de dados que tem o ativo que você quer atualizar.

  4. Na guia Revisões, selecione Criar revisão para abrir a página Criar revisão.

    1. Em Configurações de revisão, forneça um comentário opcional para sua revisão que descreva a finalidade da revisão.

    2. Em Adicionar tags — opcional, adicione tags associadas ao recurso.

    3. Escolha Create (Criar).

      A nova revisão foi criada.

  5. Na seção Unidade de compartilhamento de dados di AWS Data Exchange para o Amazon Redshift, selecione Adicionar unidade de compartilhamento de dados.

  6. Na página Adicionar unidade de compartilhamento de dados do AWS Data Exchange à revisão, selecione a unidade de compartilhamento de dados ou unidades de compartilhamentos de dados que você deseja adicionar.

  7. Selecione Adicionar unidade de compartilhamento de dados.

    Um trabalho é iniciado para importar os ativos para o conjunto de dados. Após a conclusão do trabalho, o campo Estado na seção Trabalhos será atualizado para Concluído.

Importar ativos de AWS Lake Formation (Visualização)

Ao importar ativos do AWS Lake Formation para o AWS Data Exchange, as permissões do IAM usadas devem incluir as seguintes habilidades:

  • Escrever, conceder e revogar permissões do Lake Formation

  • Criar compartilhamentos de recursos para tabelas, bancos de dados e catálogos

  • Atualizar, excluir, associar e desassociar compartilhamentos de recursos para qualquer compartilhamento de recursos começando com Lake Formation

Para obter mais informações sobre as permissões necessárias do IAM, consulte Gerenciamento de identidade e acesso em AWS Data Exchange.

Importar ativos de AWS Lake Formation (Visualização) (SDKs da AWS)

Para importar ativos de AWS Lake Formation (Visualização) (SDKs da AWS)
  1. Crie uma solicitação CreateJob do tipo Import_Assets_From_Lake_Formation_Tag_Policy.

  2. Inclua o seguinte na solicitação:

    • AssetSources

      • CatalogId

      • Database

        • Expression

          • TagKey

          • TagValues

        • Permissions

      • Table

        • Expression

          • TagKey

          • TagValues

        • Permissions

    • RoleArn

    • DataSetId

    • RevisionId

  3. Inicie a solicitação CreateJob com uma operação StartJob que exija o JobId.

  4. (Opcional) Pesquise a operação GetJob para aguardar a conclusão do trabalho.

  5. (Opcional) Atualize a propriedade do nome dos ativos após sua criação.

Importar ativos de AWS Lake Formation (Visualização) (console)

Para importar um ativo de AWS Lake Formation (Visualização) (console)
  1. Abra o navegador e faça login no console do AWS Data Exchange.

  2. No painel de navegação à esquerda, em Publicar dados, selecione Conjuntos de dados de propriedade.

  3. Em Conjuntos de dados de propriedade, selecione o conjunto de dados que tem a revisão que você quer atualizar.

  4. Na guia Revisões, selecione Criar revisão para abrir a página Criar revisão.

    1. Em Configurações de revisão, forneça um comentário opcional para sua revisão que descreva a finalidade da revisão.

    2. Em Adicionar tags — opcional, adicione tags associadas ao recurso.

    3. Escolha Create (Criar).

      A nova revisão foi criada.

  5. Para a seção de Permissão de dados do Lake Formation, selecione Adicionar tag LF.

  6. Selecione a Chave e os Valores que você deseja adicionar e selecione Adicionar tag LF.

    1. (Opcional) Selecione Visualizar recursos para visualizar os recursos do catálogo de dados associados aos quais você está concedendo permissão.

  7. Em Acesso ao serviço, selecione o Perfil para importar os recursos AWS Lake Formation para o AWS Data Exchange.

  8. Selecione a Permissão para Criar dados do Lake Formation.

    Um trabalho é iniciado para importar seus ativos para seu conjunto de dados. Após a conclusão do trabalho, o campo Estado na seção Trabalhos será atualizado para Concluído.

Exportar ativos

Tanto provedores quanto assinantes podem exportar ativos de uma revisão publicada do produto. Você pode exportar ativos de duas maneiras:

Exportar ativos para um bucket do S3

Ao exportar ativos para o Amazon S3, as permissões do IAM usadas devem incluir a capacidade de ler nos buckets S3 do serviço AWS Data Exchange e gravar no bucket do S3 em que seus ativos estão armazenados. Você pode exportar para qualquer bucket do S3 ao qual tenha permissão de acesso, independentemente da propriedade. Para obter mais informações, consulte Permissões do Amazon S3.

O AWS Data Exchange é compatível com parâmetros de criptografia configuráveis ao exportar conjuntos de dados para o Amazon S3. Nas informações do trabalho de exportação, você pode especificar a configuração de criptografia do lado do servidor do Amazon S3 que você deseja aplicar aos objetos exportados. Você pode optar por usar criptografia no lado do servidor com chaves gerenciadas pelo Amazon S3 (SSE-S3) ou criptografia no lado do servidor com AWS KMS keys armazenado em AWS Key Management Service (SSE-KMS). Para ter mais informações, consulte Como proteger dados usando criptografia do lado do servidor no Guia do usuário do Amazon Simple Storage Service.

Importante

Recomendamos levar em consideração os recursos de segurança do Amazon S3 ao exportar dados para o Amazon S3. Para obter informações sobre diretrizes gerais e melhores práticas, consulte Práticas recomendadas de segurança para Amazon S3 no Guia do usuário do Amazon Simple Storage Service.

Importante

Se o provedor tiver marcado um produto como contendo informações de saúde protegidas (PHI) sujeitas à Lei de Portabilidade e Responsabilidade de Seguros de Saúde de 1996 (HIPAA), você não poderá exportar os conjuntos de dados do produto para a Conta da AWS, a menos que tal Conta da AWS seja designada como uma conta HIPAA (conforme definido no Adendo de Associado Comercial da AWS encontrado no AWS Artifact).

Você pode exportar até 100 ativos em um único trabalho.

O vídeo a seguir explica mais sobre como exportar ativos do AWS Data Exchange.

Exportar ativos para um bucket do S3 (AWS SDKs)

Para exportar ativos para um bucket do S3 (AWS SDKs)
  1. Crie uma solicitação CreateJob do tipo EXPORT_ASSETS_TO_S3.

  2. Inclua o seguinte na solicitação:

    • AssetDestinations

      • AssetID

      • Bucket

      • Key

    • DataSetID

    • Encryption

      • KmsKeyArn

      • Type

    • RevisionID

  3. Inicie a solicitação CreateJob com uma operação StartJob que requer o retorno JobId na etapa 1.

  4. (Opcional) Atualize a propriedade do nome dos ativos após sua criação.

nota

Para obter informações sobre como exportar uma revisão inteira como um único trabalho, consulte Exportar revisões.

Exportar ativos para um bucket do S3 como assinante (console)

Para exportar um ativo para um bucket do S3 como assinante (console)
  1. Abra o navegador e faça login no console do AWS Data Exchange.

  2. No painel de navegação à esquerda, em Minhas assinaturas, selecione Dados autorizados.

  3. Em Dados autorizados, selecione o produto que tem a revisão que você quer exportar.

  4. Em Conjuntos de dados autorizados, selecione o conjunto de dados.

  5. Na guia Revisões, selecione a revisão.

  6. Na guia Ativos, marque a caixa de seleção ao lado dos ativos que você deseja exportar.

  7. Selecione Exportar ações e, em seguida, selecione Exportar ativos selecionados para o Amazon S3.

  8. Siga as instruções na janela Exportar para o Amazon S3 e selecione Exportar.

    Um trabalho é iniciado para exportar o ativo. Após a conclusão do trabalho, o campo Estado na seção Trabalhos será atualizado para Concluído.

Exportar ativos para um bucket do S3 como provedor (console)

Para exportar um ativo para um bucket do S3 como provedor (console)
  1. Abra o navegador e faça login no console do AWS Data Exchange.

  2. No painel de navegação à esquerda, em Publicar dados, selecione Conjuntos de dados de propriedade.

  3. Em Conjuntos de dados de propriedade, selecione o conjunto de dados que tem o ativo que você quer exportar.

  4. Acesse a guia Produtos para garantir que o conjunto de dados esteja associado a um produto publicado.

  5. Selecione Revisão na guia Revisões.

  6. Na seção Ativos importados, marque a caixa de seleção ao lado do nome do ativo.

  7. Selecione Exportar ações e, em seguida, selecione Exportar ativos selecionados para o Amazon S3.

  8. Siga as instruções na janela Exportar para o Amazon S3 e selecione Exportar.

    Um trabalho é iniciado para exportar o ativo. Após a conclusão do trabalho, o campo Estado na seção Trabalhos será atualizado para Concluído.

Exportar ativos para um URL assinado

Você pode usar URLs assinados para exportar ativos que não estão armazenados no Amazon S3.

Exportar ativos para um URL assinado (AWS SDKs)

Você pode usar URLs assinados para exportar ativos para destinos diferentes de buckets do S3.

Para exportar ativos para um URL assinado (AWS SDKs)
  1. Crie uma solicitação CreateJob do tipo EXPORT_ASSET_TO_SIGNED_URL.

  2. Inclua o seguinte na solicitação:

    • AssetID

    • DataSetID

    • RevisionID

  3. Inicie a solicitação CreateJob com uma operação StartJob que requer o retorno JobId na etapa 1.

  4. (Opcional) Atualize a propriedade do nome dos ativos após sua criação.

  5. As informações da resposta incluem o SignedUrl que você pode usar para importar seu arquivo.

nota

O URL assinado expira um minuto após ser criado.

Exportar ativos para um URL assinado como assinante (console)

Para exportar um ativo para um URL assinado como assinante (console)
  1. Abra o navegador e faça login no console do AWS Data Exchange.

  2. No painel de navegação à esquerda, em Minhas assinaturas, selecione Dados autorizados.

  3. Em Dados autorizados, escolha o produto que tem a revisão que você quer exportar.

  4. Em Conjuntos de dados autorizados, selecione o conjunto de dados.

  5. Na guia Revisões, escolha a revisão.

  6. Na guia Ativos, marque a caixa de seleção ao lado dos ativos que você deseja exportar.

  7. Selecione Exportar ações e selecione Fazer download de ativos selecionados.

    Um trabalho é iniciado para exportar o ativo. Após a conclusão do trabalho, o campo Estado na seção Trabalhos será atualizado para Concluído.

Exportar ativos para um URL assinado como provedor (console)

Para exportar um ativo para um URL assinado como provedor (console)
  1. Abra o navegador e faça login no console do AWS Data Exchange.

  2. No painel de navegação à esquerda, em Publicar dados, selecione Conjuntos de dados de propriedade.

  3. Em Conjuntos de dados de propriedade, selecione o conjunto de dados que tem o ativo que você quer exportar.

  4. Acesse a guia Produtos para garantir que o conjunto de dados esteja associado a um produto publicado.

  5. Na guia Revisões, escolha a revisão.

  6. Na seção Ativos importados, marque a caixa de seleção ao lado do nome do ativo.

  7. Selecione Exportar ações e selecione Fazer download dos ativos selecionados.

    Um trabalho é iniciado para exportar o ativo. Após a conclusão do trabalho, o campo Estado na seção Trabalhos será atualizado para Concluído.

Exportar revisões

Tanto os provedores quanto os assinantes podem exportar revisões de um conjunto de dados para um bucket do S3 ao qual tenham permissão de acesso.

O AWS Data Exchange é compatível com parâmetros de criptografia configuráveis ao exportar revisões para o Amazon S3. Nas informações do trabalho de exportação, você pode especificar a configuração de criptografia do lado do servidor do Amazon S3 que você deseja aplicar aos objetos exportados. Você pode optar por usar criptografia no lado do servidor com chaves gerenciadas pelo Amazon S3 (SSE-S3) ou criptografia no lado do servidor com chaves KMS armazenadas em AWS Key Management Service (SSE-KMS). Para obter mais informações, consulte Proteção de dados usando criptografia no lado do servidor no Guia do desenvolvedor do Amazon Simple Storage Service.

Importante

Se o provedor tiver marcado um produto como contendo informações de saúde protegidas (PHI) sujeitas à Lei de Portabilidade e Responsabilidade de Seguros de Saúde de 1996 (HIPAA), você não poderá exportar os conjuntos de dados do produto para a Conta da AWS, a menos que tal Conta da AWS seja designada como uma conta HIPAA (conforme definido no Adendo de Associado Comercial da AWS encontrado no AWS Artifact).

O vídeo a seguir explica mais sobre como exportar ativos do AWS Data Exchange (a partir de 2:18).

Exportar revisões para um bucket do S3 (AWS SDKs)

Para exportar uma revisão para um bucket do S3 (AWS SDKs)
  1. Crie uma solicitação CreateJob do tipo EXPORT_REVISIONS_TO_S3.

  2. Inclua o seguinte na solicitação:

    • DataSetId

    • Encryption

      • KmsKeyArn

      • Type

    • RevisionDestinations

      • Bucket

      • KeyPattern

      • RevisionId

  3. Inicie a solicitação CreateJob com uma operação StartJob que requer o retorno JobId na etapa 1.

  4. Os ativos recém-criados tem uma propriedade de nome igual à chave do objeto S3 original. A chave do objeto do Amazon S3 tem como padrão o padrão de chave ${Asset.Name}.

    Você pode atualizar a propriedade do nome dos ativos após eles serem criados.

    Para obter mais informações sobre padrões de chave, consulte Principais padrões ao exportar revisões.

nota

Se estiver usando DataSet.Name como referência dinâmica, você deverá ter a permissão dataexchange:GetDataSet do IAM. Para obter mais informações, consulte AWS Data Exchange Permissões de API: referência de ações e recursos.

Exportar revisões para um bucket do S3 como provedor (console)

Para exportar uma revisão para um bucket do S3 como provedor (console)
  1. Abra o navegador e faça login no console do AWS Data Exchange.

  2. No painel de navegação à esquerda, em Publicar dados, selecione Conjuntos de dados de propriedade.

  3. Em Conjuntos de dados de propriedade, selecione o conjunto de dados que tem o ativo que você quer exportar.

  4. Acesse a guia Produtos para garantir que o conjunto de dados esteja associado a um produto publicado.

  5. Na guia Revisões, escolha a revisão.

  6. Na seção Ativos importados, marque a caixa de seleção ao lado do nome do ativo.

  7. Selecione Exportar ações e selecione Exportar ativos selecionados para o Amazon S3.

  8. Siga as instruções na janela Exportar para o Amazon S3 e selecione Exportar.

    Um trabalho é iniciado para exportar seu ativo. Após a conclusão do trabalho, o campo Estado na seção Trabalhos será atualizado para Concluído.

Exportar revisões para um bucket do S3 como assinante (console)

Para exportar uma revisão para um bucket do S3 como assinante (console)
  1. Abra o navegador e faça login no console do AWS Data Exchange.

  2. No painel de navegação à esquerda, em Minhas assinaturas, selecione Dados autorizados.

  3. Em Dados autorizados, escolha o produto que tem a revisão que você quer exportar.

  4. Em Conjuntos de dados autorizados, selecione o conjunto de dados.

  5. Na guia Revisões, selecione a revisão e selecione Exportar para o Amazon S3.

  6. Em Exportar revisão para o Amazon S3, selecione uma opção de destino, destino da pasta do bucket do Amazon S3, configure as opções de criptografia e selecione Exportar.

    Um trabalho é iniciado para exportar a revisão. Após a conclusão do trabalho, o campo Estado na seção Trabalhos será atualizado para Concluído.

Exportar revisões automaticamente para um bucket do S3 como assinante

Quando o provedor publica novas revisões, você pode optar por exportar automaticamente novas revisões para seu bucket do Amazon S3. Você pode exportar novas revisões para até cinco buckets S3. Novas revisões aparecerão automaticamente nos buckets S3 que você selecionou.

nota

Para exportar revisões automaticamente para um bucket do S3 de sua escolha, seu bucket do S3 deve ter uma política de bucket com permissões definidas para permitir que o AWS Data Exchange exporte dados para ele. Para obter mais informações, consulte Pré-requisitos para permissões de política de bucket do S3.

Pré-requisitos para permissões de política de bucket do S3

Antes de poder exportar revisões automaticamente para um bucket do S3, você deve desabilitar os pagamentos do solicitante e seu bucket do S3 deve ter uma política de bucket com permissões definidas para permitir que o AWS Data Exchange exporte dados para ele. Os procedimentos a seguir fornecem informações sobre como editar sua política de bucket do S3 existente ou criar uma política de bucket do S3 com essas permissões.

Se o seu bucket do S3 estiver configurado para criptografia SSE-KMS, o usuário que configura o trabalho de exportação automática deverá ter a permissão CreateGrant na chave KMS para que o AWS Data Exchange copie os objetos em seu bucket do S3.

Importante

Para verificar se os pré-requisitos para permissões de política de bucket do S3 foram atendidos, um objeto com o formato de nomenclatura _ADX-TEST-ACCOUNTID# é adicionado ao bucket do S3 durante o processo de exportação automática.

Editar uma política de bucket do S3 existente

Se o seu bucket do S3 tiver uma política de bucket, conclua o procedimento a seguir para permitir que o AWS Data Exchange exporte dados para ele.

Para editar uma política de bucket do S3 existente
  1. Acesse o bucket para exportar revisões.

  2. Selecione a guia Permissões e escolha Editar na seção de política do bucket.

  3. Copie a seguinte instrução e cole-a no final da lista de instruções.

    { "Effect": "Allow", "Principal": { "Service": "dataexchange.amazonaws.com" }, "Action": [ "s3:PutObject", "s3:PutObjectAcl" ], "Resource": "arn:aws:s3:::<BUCKET-NAME>/*", "Condition": { "StringEquals": { "aws:SourceAccount": "<AWS ID>" } } }
  4. Substitua <BUCKET-NAME> pelo nome do seu bucket do S3 e substitua <AWS ID> pelo seu ID da AWS.

  5. Escolha Save changes (Salvar alterações).

  6. Para adicionar mais buckets como destino para seus trabalhos de exportação automática, repita o procedimento, começando na Etapa 1.

Criação de política de bucket do S3

Se o seu bucket do S3 não tiver uma política de bucket, conclua o procedimento a seguir para criar uma política de bucket do S3 para permitir que o AWS Data Exchange exporte dados para ele.

Para criar uma política de bucket do S3
  1. Acesse o bucket para exportar revisões.

  2. Selecione a guia Permissões e selecione Editar na seção de política de bucket.

  3. Copie e cole a política de bucket a seguir no editor de política de bucket.

    { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "dataexchange.amazonaws.com" }, "Action": [ "s3:PutObject", "s3:PutObjectAcl" ], "Resource": "arn:aws:s3:::<BUCKET-NAME>/*", "Condition": { "StringEquals": { "aws:SourceAccount": "<AWS ID>" } } } ] }
  4. Substitua <BUCKET-NAME> pelo nome do seu bucket do S3 e substitua <AWS ID> pelo seu ID da AWS.

  5. Escolha Save changes (Salvar alterações).

  6. Para adicionar mais buckets como destino para seus trabalhos de exportação automática, repita o procedimento, começando na Etapa 1.

Exportar automaticamente revisões para um bucket do S3 como assinante (console)

nota

Para exportar revisões automaticamente para um bucket do S3 de sua escolha, seu bucket do S3 deve ter uma política de bucket com permissões definidas para permitir que o AWS Data Exchange exporte dados para ele. Para obter mais informações, consulte Pré-requisitos para permissões de política de bucket do S3.

Para exportar automaticamente uma revisão para um bucket do S3 como assinante (console)
  1. Abra o navegador e faça login no console do AWS Data Exchange.

  2. No painel de navegação à esquerda, em Minhas assinaturas, selecione Dados autorizados.

  3. Em Dados autorizados, selecione o produto que tem a revisão que você quer exportar.

  4. Em Conjuntos de dados autorizados, selecione o conjunto de dados.

  5. Na guia Revisões, em Destinos de trabalho de exportação automática, escolha Ações e Adicionar destino de trabalho de exportação automática.

  6. Em Adicionar destino do trabalho de exportação automática, selecione a opção destino Simples ou Avançada.

    1. Se você escolher a opção Simples, selecione o destino da pasta do bucket do Amazon S3 na lista suspensa e nas opções de criptografia e, em seguida, selecione Adicionar destino do bucket.

    2. Se você escolher a opção Avançada, selecione o destino da pasta de bucket do Amazon S3 na lista suspensa, selecione o Padrão de nomenclatura da chave e anexe-o ao caminho.

  7. Revise a Saída.

  8. Defina as Opções de criptografia, revise os Preços do Amazon S3 e selecione Adicionar destino do bucket.

    O destino do bucket do Amazon S3 aparece na guia Revisões em Destinos de trabalho de exportação automática.

    Um trabalho é iniciado para exportar automaticamente a revisão.

    Para verificar se os pré-requisitos para permissões de política de bucket do S3 foram atendidos, um objeto com o formato de nomenclatura _ADX-TEST-ACCOUNTID# é adicionado ao bucket do S3.

    Após a conclusão do trabalho, o campo Estado na seção Trabalhos será atualizado para Concluído.

    Para adicionar outro destino, selecione Ações e Adicionar destino do trabalho de exportação automática.

    Para editar, escolha o destino que você quer editar, selecione Ações e, em seguida, Editar configuração de destino.

    Para excluir, selecione Ações e, em seguida, Remover destino do trabalho de exportação automática.

Exportar automaticamente revisões para um bucket do S3 como assinante (AWS SDKs)

nota

Para exportar revisões automaticamente para um bucket do S3 de sua escolha, seu bucket do S3 deve ter uma política de bucket com permissões definidas para permitir que o AWS Data Exchange exporte dados para ele. Para obter mais informações, consulte Pré-requisitos para permissões de política de bucket do S3.

Para exportar automaticamente uma revisão para um bucket do S3 (AWS SDKs)
  1. Criar uma solicitação de Create_Event_Action.

  2. Inclua o seguinte na solicitação:

    • Action

      • ExportRevisionToS3

        • Encryption

          • KmsKeyArn

          • Type

      • RevisionDestination

        • Bucket

        • KeyPattern

    • Event

      • RevisionPublished

        • DataSetId

  3. Modifique o padrão de chave, se necessário. A chave do objeto do Amazon S3 tem como padrão o padrão de chave {Revision.CreatedAt}/{Asset.Name}.

    Para obter mais informações sobre padrões de chave, consulte Principais padrões ao exportar revisões.

    Para verificar se os pré-requisitos para permissões de política de bucket do S3 foram atendidos, um objeto com o formato de nomenclatura _ADX-TEST-ACCOUNTID# é adicionado ao bucket do S3.

Principais padrões ao exportar revisões

Ao exportar uma revisão, cada ativo se torna um objeto no bucket do S3. Os nomes dos objetos são baseados em um padrão de chave fornecido por você. É possível usar referências dinâmicas que representam atributos de ativos para criar um padrão para os nomes gerados automaticamente durante a exportação. Use as referências dinâmicas mostradas na tabela a seguir.

Referências dinâmicas Descrição
${Asset.Id} O ID do ativo.
${Asset.Name} O nome do ativo.
${DataSet.Id} O ID do conjunto de dados que está sendo exportado.
${DataSet.Name} O nome do conjunto de dados que está sendo exportado.
${Revision.CreatedAt} A data e hora (UTC) em que a revisão foi criada, no seguinte formato: AAAA-MM-DDTHH:MM:SSZ. Por exemplo: 2021-10-08T16:33:19.787Z
${Revision.CreatedAt.Day} O dia do mês em que a revisão foi criada.
${Revision.CreatedAt.Month} O mês em que a revisão foi criada.
${Revision.CreatedAt.Year} O ano em que a revisão foi criada.
${Revision.Id} O ID da revisão que está sendo exportada.

Você pode usar essas referências dinâmicas para criar os padrões de chave para os nomes dos seus ativos. Você deve incluir pelo menos uma das duas referências dinâmicas Asset, que são ${Asset.Name} e ${Asset.Id}.

Por exemplo, usar ${Revision.Id}/${Asset.Name} como padrão de chave resulta em objetos do Amazon S3 que usam o ID de revisão e o nome do ativo (separados por uma barra) como nome do objeto.

Se você exportar uma revisão com o ID testRevisionId que tenha dois ativos chamados asset1 e asset2, os ativos serão exportados para os seguintes locais no Amazon S3:

  • <bucket>/testRevisionId/asset1

  • <bucket>/testRevisionId/asset2

nota

Os objetos resultantes devem ter nomes exclusivos. Se eles tiverem os mesmos nomes dos objetos existentes no bucket do S3, sua exportação substituirá os objetos existentes. Se a revisão que você está exportando tiver nomes não exclusivos (por exemplo, dois ativos com o mesmo nome), a exportação falhará. A única referência dinâmica que é única é ${Asset.Id}.