Dados emAWS Data Exchange - Guia do usuário do AWS Data Exchange

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Dados emAWS Data Exchange

Os dados são organizados emAWS Data Exchangeusando três blocos de construção:

Esses três blocos de construção formam a base do produto que você gerencia usando oAWS Data Exchangeconsole doAWS Data ExchangeAPI.

Para criar, visualizar, atualizar ou excluir conjuntos de dados, você pode usar oAWS Data ExchangeConsole doAWS Command Line Interface(AWS CLI), seu próprio cliente REST ou um dosAWSSDK. Para obter mais informações sobre o gerenciamento programáticoAWS Data Exchangeconjuntos de dados, veja oAWS Data ExchangeReferência de API.

Ativos

Os ativos são osdadosemAWS Data Exchange.

O tipo de ativo define como os dados são entregues ao assinante por meio dos conjuntos de dados e produtos que os contêm.

Um ativo pode ser qualquer um dos seguintes:

  • Um arquivo armazenado no computador local

  • Um arquivo armazenado como um objeto noAmazon Simple Storage Service(Amazon S3

  • Uma API REST criada no Amazon API Gateway

  • Um conjunto de dados do Amazon Redshift

Estrutura do ativo

Os ativos têm os seguintes parâmetros:

  • DataSetId— O ID do conjunto de dados que contém esse ativo.

  • RevisionId— O ID da revisão que contém esse ativo.

  • Id— Uma ID exclusiva gerada quando o ativo é criado.

  • Arn— Um identificador exclusivo para umAWSnome do recurso.

  • CreatedAteUpdatedAt— Data e data e hora da criação e da última atualização do ativo.

  • AssetDetails— Informações sobre o ativo.

  • AssetType— Seja um snapshot de um objeto do Amazon S3, uma API do Amazon API Gateway ou um conjunto de dados do Amazon Redshift.

exemplo recurso ativo

{ "Name": "automation/cloudformation.yaml", "Arn": "arn:aws:dataexchange:us-east-1::data-sets/29EXAMPLE24b82c6858af3cEXAMPLEcf/revisions/bbEXAMPLE74c02f4745c660EXAMPLE20/assets/baEXAMPLE660c9fe7267966EXAMPLEf5", "Id": "baEXAMPLE660c9fe7267966EXAMPLEf5", "CreatedAt": "2019-10-17T21:31:29.833Z", "UpdatedAt": "2019-10-17T21:31:29.833Z", "AssetType": "S3_SNAPSHOT", "RevisionId": "bbEXAMPLE74c02f4745c660EXAMPLE20", "DataSetId": "29EXAMPLE24b82c6858af3cEXAMPLEcf", "AssetDetails": { "S3SnapshotAsset": { "Size": 9423 } } }

Tipos de ativo

Ativos de objetos do Amazon S3

Com os ativos de objeto do S3, os assinantes podem acessar uma cópia do conjunto de dados como um conjunto de dados autorizado e exportar os ativos.

Um provedor (proprietário do conjunto de dados) pode importar e exportar ativos de objetos do Amazon S3 usando oAWS Data Exchangeconsole, programaticamente por meio doAWS CLI, seu próprio aplicativo REST ou um dosAWSSDK. Para obter mais informações, sobre a importação de ativos do S3, consulteImportação de ativos de um bucket do S3. Para obter mais informações sobre como exportar ativos, consulteExportar ativos para um bucket do S3.

Ativos de API

Com os ativos da API, os assinantes podem visualizar a API e baixar a especificação da API como um conjunto de dados autorizado. Os assinantes também podem fazer chamadas de API paraAWS Data Exchange-endpoints gerenciados, que são então enviados por proxy até os endpoints do provedor.

Um provedor (proprietário do conjunto de dados) que tenha a API Amazon API Gateway existente pode adicionar um ativo de API usando oAWS Data Exchangeconsole, programaticamente por meio doAWS CLI, ou uma dasAWSSDK. Para mais informações sobre como importar ativos de API, consulteImportar ativos de uma API do Amazon API Gateway.

nota

Atualmente, oSendApiAsseta operação não é compatível com os seguintes SDKs:

  • AWS SDK for .NET

  • AWS SDK for C++

  • SDK para Java 2.x

Os provedores que não têm uma API do Amazon API Gateway existente devem criar uma antes de adicionar um ativo de API ao produto. Para obter mais informações, consulte:Desenvolvimento de uma API REST no API GatewaynaGuia do desenvolvedor do Amazon API Gateway.

Ativos de compartilhamento de dados do Amazon Redshift

Com os ativos de datashare do Amazon Redshift, os assinantes podem obter acesso somente leitura para consultar os dados no Amazon Redshift, sem extrair, transformar nem carregar dados.

Para obter mais informações sobre a importação dos ativos de compartilhamento de dados do Amazon Redshift, consulteImportar ativos de umAWS Data Exchangecompartilhamento de dados para o Amazon Redshift.

Revisões

Uma revisão é umarecipientepara um ou mais ativos.

Você usa revisões para atualizar dados no Amazon S3. Por exemplo, você pode agrupar uma coleção de arquivos.csv ou um único arquivo .csv e um dicionário para criar uma revisão. À medida que novos dados são disponibilizados, você cria revisões e adiciona ativos. Depois de criar e finalizar a revisão usando oAWS Data Exchangeconsole, essa revisão estará imediatamente disponível para os assinantes. Para obter mais informações, consultePublicar um novo produto

Importante

A partir de 22 de julho de 2021, fornecedores novos e existentes podem publicar automaticamente as revisões dos conjuntos de dados. Todos os novos produtos emAWS Data Exchangepadrão para publicação automática de revisões. Se você tiver criado produtos existentes noAWS Data Exchangeantes de 22 de julho de 2021, você precisa migrá-los para a publicação automática de revisões.

Para obter mais informações, consulteMigração de um produto existente para publicação automática de revisão

nota

Se você já é um fornecedor e ainda não migrou todos os seus produtos para a publicação automática de revisões, você pode criar, adicionar e publicar revisões usando oAWS Data Exchangeconsole doAWS MarketplaceAPI de catálogo.

Se você escolher a API, use oStartChangeSet AWS MarketplaceOperação de API do catálogo. As revisões são identificadas exclusivamente pelo nome do recurso da Amazon (ARN). Para obter mais informações, consulteO uso doAWS Data Exchangecom oAWS MarketplaceAPI do Catalog

Lembre-se do seguinte:

  • Para ser finalizada, uma revisão deve conter pelo menos um ativo.

  • É sua responsabilidade garantir que os ativos estejam corretos antes de finalizar sua revisão.

  • Uma revisão finalizada publicada em pelo menos um produto não pode ser anulada ou alterada de nenhuma forma.

  • Depois que a revisão for finalizada, ela será publicada automaticamente em seus produtos.

Estrutura de revisão

As revisões têm os seguintes parâmetros:

  • DataSetId— O ID do conjunto de dados que contém essa revisão.

  • Comment— Um comentário sobre a revisão. Esse campo pode ter 128 caracteres.

  • Finalized— Verdadeiro ou falso. Usado para indicar se a revisão foi finalizada.

  • Id— O identificador exclusivo da revisão gerada quando ela é criada.

  • Arn— Um identificador exclusivo para umAWSnome do recurso.

  • CreatedAt— Data e data para a criação da revisão. As revisões autorizadas são criadas no momento da publicação.

  • UpdatedAt— Data e data da última atualização da revisão.

  • Revoked— Um status indicando que o acesso dos assinantes à revisão foi revogado.

  • RevokedAt— Data e data e hora indicando quando o acesso do assinante à revisão foi revogado.

  • RevocationComment— Um comentário obrigatório para informar os assinantes sobre o motivo pelo qual seu acesso à revisão foi revogado. O tamanho mínimo de caracteres exigido é 10. Esse campo pode ter entre 10 e 512 caracteres.

  • SourceID— O ID de revisão da revisão própria correspondente à revisão autorizada que está sendo visualizada. Esse parâmetro é retornado quando o proprietário da revisão está visualizando a cópia autorizada de sua revisão própria.

exemplo recurso de revisão

{ "UpdatedAt": "2019-10-11T14:13:31.749Z", "DataSetId": "1EXAMPLE404460dc9b005a0d9EXAMPLE2f", "Comment": "initial data revision", "Finalized": true, "Id": "e5EXAMPLE224f879066f9999EXAMPLE42", "Arn": "arn:aws:dataexchange:us-east-1:123456789012:data-sets/1EXAMPLE404460dc9b005a0d9EXAMPLE2f/revisions/e5EXAMPLE224f879066f9999EXAMPLE42", "CreatedAt": "2019-10-11T14:11:58.064Z" }

Conjuntos de dados

Um conjunto de dados emAWS Data Exchangeé umcoleçãode dados que podem mudar ao longo do tempo.

Quando os assinantes acessam um conjunto de dados do Amazon S3, eles acessam uma revisão específica no conjunto de dados. Essa estrutura permite que os provedores alterem os dados disponíveis nos conjuntos de dados ao longo do tempo sem precisar se preocupar com alterações nos dados históricos.

Quando os assinantes acessam um conjunto de dados da API, eles acessam um conjunto de dados que contém ativos da API, que permitem que os assinantes façam chamadas de API paraAWS Data Exchange-endpoints gerenciados, que são então enviados por proxy até os endpoints do provedor.

Quando os assinantes acessam um conjunto de dados do Amazon Redshift, eles acessam umAWS Data Exchangecompartilhamento de dados para o Amazon Redshift. Esse datashare oferece aos assinantes acesso somente para leitura aos esquemas, visualizações e funções definidas pelo usuário que o provedor adicionou aos compartilhamentos de dados.

Para criar, visualizar, atualizar ou excluir conjuntos de dados, os provedores podem usar oAWS Data ExchangeConsole do,AWSCLI, seu próprio cliente REST ou um dosAWSSDK. Para obter mais informações sobre o gerenciamento programáticoAWS Data Exchangeconjuntos de dados, veja oAWS Data ExchangeReferência de API.

Conjuntos de dados próprios

Um conjunto de dados é de propriedade da conta da que o criou. Os conjuntos de dados próprios podem ser identificados usando ooriginparâmetro, que está definida comoOWNED.

Conjuntos de dados autorizados

Os conjuntos de dados autorizados são uma visualização somente leitura dos conjuntos de dados de propriedade de um provedor. Os conjuntos de dados autorizados são criados no momento da publicação do produto e disponibilizados aos assinantes que têm uma assinatura ativa do produto. Os conjuntos de dados autorizados podem ser identificados usando ooriginparâmetro, que está definida comoENTITLED.

Como assinante de dados, você pode visualizar e interagir com seus conjuntos de dados autorizados usando oAWS Data ExchangeAPI ou naAWS Data ExchangeConsole do.

Como provedor de dados, você também tem acesso à visualização autorizada do conjunto de dados que seus assinantes veem. É possível fazer isso usando oAWS Data ExchangeAPI, ou escolhendo o nome do conjunto de dados na página do produto naAWS Data ExchangeConsole do.

Tipos de conjunto de dados

Os seguintes tipos de conjuntos de dados são suportados noAWS Data Exchange:

Conjunto de dados de objetos do Amazon S3

Um conjunto de dados de objetos do Amazon S3 é um conjunto de dados que contém arquivos simples permitidos pelo Amazon S3.

Como assinante de dados, você pode exportar dados localmente (baixar para o seu computador) ou para o seu bucket Amazon S3.

Como provedor de dados, você pode importar qualquer tipo de arquivo simples do seu bucket Amazon S3 e adicioná-lo ao conjunto de dados.

Conjunto de dados de API

Um conjunto de dados da API é um conjunto de dados que contém ativos da API. Os ativos da API permitem que os assinantes façam chamadas de API paraAWS Data Exchange-endpoints gerenciados, que são então enviados por proxy até os endpoints do provedor.

Como provedor de dados, você cria uma API no Amazon API Gateway e a adiciona ao conjunto de dados para licenciar o acesso à sua API após a assinatura.

Conjunto de dados do Amazon Redshift

Um conjunto de dados do Amazon Redshift incluiAWS Data Exchangecompartilhamentos de dados para o Amazon Redshift. Ao assinar um conjunto de dados com compartilhamentos de dados, você é adicionado como consumidor do compartilhamento de dados. Dessa forma, você tem acesso somente leitura aos esquemas, tabelas, visualizações e funções definidas pelo usuário que o provedor adicionou aos compartilhamentos de dados.

Como assinante de dados, você pode criar um banco de dados a partir do compartilhamento de dados no Amazon Redshift e, em seguida, consultar dados ativos sem extrair, transformar e carregar arquivos. Você tem acesso automático ao compartilhamento de dados quando sua assinatura é ativada e perde o acesso após a expiração da assinatura.

Como provedor de dados, você cria um compartilhamento de dados no Amazon Redshift e o adiciona ao conjunto de dados para licenciar o acesso ao seu compartilhamento de dados mediante assinatura.

Regiões da AWSe conjuntos de dados

Seus conjuntos de dados podem estar em qualquer suporteRegião da AWS, mas todos os conjuntos de dados em um único produto devem estar no mesmoRegião da AWS.

Estrutura do conjunto de dados

Os conjuntos de dados têm os seguintes parâmetros:

  • Name— O nome do conjunto de dados. Esse valor pode ter até 256 caracteres.

  • Description— Uma descrição do conjunto de dados. Esse valor pode ter até 16.348 caracteres.

  • AssetType— Define o tipo de ativos que o conjunto de dados contém.

  • Origin— Uma propriedade que define o conjunto de dados comoOwnedpela conta (para provedores) ouEntitledpara a conta (para assinantes).

  • Id— Uma ID que identifica de forma exclusiva o conjunto de dados. Os IDs do conjunto de dados são gerados na criação do conjunto de dados Os conjuntos de dados autorizados têm um ID diferente do conjunto de dados de propriedade original.

  • Arn— Um identificador exclusivo para umAWSnome do recurso.

  • CreatedAteUpdatedAt— Data e data e hora para a criação e a última atualização do conjunto de dados.

nota

Como provedor, você pode alterar algumas propriedades de conjuntos de dados próprios, como oName (Nome)ouDescrição. A atualização das propriedades em um conjunto de dados próprio não atualizará as propriedades no conjunto de dados autorizado correspondente.

exemplo recurso de conjunto de dados

{ "Origin": "OWNED", "AssetType": "S3_SNAPSHOT", "Name": "MyDataSetName", "CreatedAt": "2019-09-09T19:31:49.704Z", "UpdatedAt": "2019-09-09T19:31:49.704Z", "Id": "fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", "Arn": "arn:aws:dataexchange:us-east-2:123456789109:data-sets/fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", "Description": "This is my data set's description that describes the contents of the data set." }

Práticas recomendadas do conjunto

Como provedor, ao criar e atualizar conjuntos de dados, lembre-se das seguintes melhores práticas:

  • O nome do conjunto de dados está visível nos detalhes do produto no catálogo. Recomendamos que você escolha um nome conciso e descritivo para que os clientes entendam facilmente o conteúdo do conjunto de dados.

  • A descrição é visível para assinantes que têm uma assinatura ativa do produto. Recomendamos que você inclua informações de cobertura e os recursos e benefícios do conjunto de dados.

Etiquetas

É possível adicionar tags aos conjuntos de dados da e suas revisões. Ao usar a marcação, você também pode usar o controle de acesso baseado em tags noAWS Identity and Access ManagementPolíticas (IAM) para controlar o acesso a esses conjuntos de dados e as revisões.

Conjuntos de dados autorizados não podem ser marcados. As tags dos conjuntos de dados próprios e suas revisões não são propagadas para as versões autorizadas correspondentes. Especificamente, os assinantes, que têm acesso somente leitura a conjuntos de dados e revisões autorizados, não verão as tags do conjunto de dados original.

nota

Atualmente, ativos e empregos não oferecem suporte à marcação.