Dados emAWS Data Exchange - Guia do usuário do AWS Data Exchange
AtivosRevisõesConjuntos de dadosTags

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Dados emAWS Data Exchange

Os dados são organizados emAWS Data Exchangeusando três blocos de construção:

Esses três blocos de construção formam a base do produto que você gerencia usando oAWS Data Exchangeconsole ou oAWS Data ExchangeAPI.

Para criar, visualizar, atualizar ou excluir conjuntos de dados, você pode usar oAWS Data Exchangeconsole, oAWS Command Line Interface(AWS CLI), seu próprio cliente REST ou um dosAWSSDKs. Para obter mais informações sobre o gerenciamento programáticoAWS Data Exchangeconjuntos de dados, veja oAWS Data ExchangeReferência da API.

Ativos

Os ativos são osdadosemAWS Data Exchange.

O tipo de ativo define como os dados são entregues ao assinante por meio dos conjuntos de dados e produtos que os contêm.

Um ativo pode ser qualquer um dos seguintes:

  • Um arquivo armazenado em seu computador local

  • Um arquivo armazenado como um objeto noAmazon Simple Storage Service(Amazon S3)

  • Uma API REST criada no Amazon API Gateway

  • Um conjunto de dados do Amazon Redshift

  • UmAWS Lake Formationpermissão de dados (Pré-visualização)

  • Um conjunto de dados de acesso a dados do Amazon S3

Estrutura do ativo

Os ativos têm os seguintes parâmetros:

  • DataSetId— O ID do conjunto de dados que contém esse ativo.

  • RevisionId— O ID da revisão que contém esse ativo.

  • Id— Um ID exclusivo gerado quando o ativo é criado.

  • Arn— Um identificador exclusivo para umAWSnome do recurso.

  • CreatedAteUpdatedAt— Data e data e hora da criação e última atualização do ativo.

  • AssetDetails— Informações sobre o ativo.

  • AssetType— Um snapshot de um objeto do Amazon S3, uma API do Amazon API Gateway, um conjunto de dados do Amazon Redshift ou um conjunto de dados do Amazon S3.

exemplo recurso patrimonial
{
    "Name": "automation/cloudformation.yaml",
    "Arn": "arn:aws:dataexchange:us-east-1::data-sets/29EXAMPLE24b82c6858af3cEXAMPLEcf/revisions/bbEXAMPLE74c02f4745c660EXAMPLE20/assets/baEXAMPLE660c9fe7267966EXAMPLEf5",
    "Id": "baEXAMPLE660c9fe7267966EXAMPLEf5",
    "CreatedAt": "2019-10-17T21:31:29.833Z",
    "UpdatedAt": "2019-10-17T21:31:29.833Z",
    "AssetType": "S3_SNAPSHOT",
    "RevisionId": "bbEXAMPLE74c02f4745c660EXAMPLE20",
    "DataSetId": "29EXAMPLE24b82c6858af3cEXAMPLEcf",
    "AssetDetails": {
        "S3SnapshotAsset": {
            "Size": 9423
        }
    }
}

Tipos de ativos

Conjunto de dados de arquivos

Usando Arquivos, os assinantes podem acessar uma cópia do conjunto de dados como um conjunto de dados autorizado e exportar os ativos.

Um provedor (proprietário do conjunto de dados) pode importar e exportar arquivos usando oAWS Data Exchangeconsole, programaticamente por meio doAWS CLI, seu próprio aplicativo REST ou um dosAWSSDKs. Para obter mais informações sobre a importação de ativos do Amazon S3. consulteImportar ativos de um bucket do S3. Para obter mais informações sobre a exportação de ativos, consulteExportar ativos para um bucket do S3.

Ativos da API

Com os ativos da API, os assinantes podem visualizar a API e baixar a especificação da API como um conjunto de dados autorizado. Os assinantes também podem fazer chamadas de API paraAWS Data Exchange-endpoints gerenciados, que são então transmitidos por proxy para os endpoints do provedor.

Um provedor (proprietário do conjunto de dados) que tenha uma API existente do Amazon API Gateway pode adicionar um ativo de API usando oAWS Data Exchangeconsole, programaticamente por meio doAWS CLI, ou um dosAWSSDKs. Para obter mais informações sobre a importação de ativos da API, consulteImportar ativos de uma Amazon API Gateway.

nota

Atualmente, oSendApiAsseta operação não é suportada pelos seguintes SDKs:

  • AWS SDK for .NET

  • AWS SDK for C++

  • SDK para Java 2.x

Os provedores que não têm uma API do Amazon API Gateway existente devem criar uma antes de adicionar um ativo de API ao produto. Para obter mais informações, consulteDesenvolvendo uma API REST no API GatewaynaGuia do desenvolvedor do Amazon API Gateway.

Ativos de compartilhamento de dados do Amazon Redshift

Com os ativos de compartilhamento de dados do Amazon Redshift, os assinantes podem obter acesso somente para leitura para consultar os dados no Amazon Redshift sem extrair, transformar e carregar dados.

Para obter mais informações sobre a importação de ativos de compartilhamento de dados do Amazon Redshift, consulteImportação de ativos de umAWS Data Exchange compartilhamento de dados para o Amazon Redshift.

AWS Lake Formationpermissão de dados (Pré-visualização)

ComAWS Lake Formationativos de permissão de dados, os assinantes podem acessar e consultar todos os bancos de dados, tabelas ou colunas associados às tags especificadas.

Os provedores devem criar e marcar seus dados antes de importar as tags como parte de umAWS Data Exchangeativo. Para obter mais informações sobre a importação de ativos de permissão de dados do Lake Formation, consulteImportando ativos doAWS Lake Formation (Preview).

Acesso aos dados do Amazon S3

Com os ativos de acesso a dados do Amazon S3, os assinantes podem acessar e usar diretamente os dados do provedor sem criar ou gerenciar cópias de dados. Os provedores podem configurarAWS Data Exchangepara que o Amazon S3, além de seus buckets existentes do Amazon S3, compartilhem acesso direto a um bucket S3 inteiro ou a prefixos específicos e objetos do Amazon S3.

Revisões

Uma revisão é umarecipientepara um ou mais ativos.

Você usa revisões para atualizar dados no Amazon S3. Por exemplo, você pode agrupar uma coleção de arquivos.csv ou um único arquivo.csv e um dicionário para criar uma revisão. Conforme novos dados estão disponíveis, você cria revisões e adiciona ativos. Depois de criar e finalizar a revisão usando oAWS Data Exchangeconsole, essa revisão estará imediatamente disponível para os assinantes. Para obter mais informações, consulte Publicar um novo produto.

Lembre-se do seguinte:

  • Para ser finalizada, uma revisão deve conter pelo menos um ativo.

  • É sua responsabilidade garantir que os ativos estejam corretos antes de finalizar sua revisão.

  • Uma revisão finalizada publicada em pelo menos um produto não pode ser infinalizada ou alterada de nenhuma forma.

  • Depois que a revisão for finalizada, ela será publicada automaticamente em seus produtos.

Estrutura de revisão

As revisões têm os seguintes parâmetros:

  • DataSetId— O ID do conjunto de dados que contém essa revisão.

  • Comment— Um comentário sobre a revisão. Esse campo pode ter 128 caracteres.

  • Finalized— Verdadeiro ou falso. Usado para indicar se a revisão foi finalizada.

  • Id— O identificador exclusivo da revisão gerada quando ela é criada.

  • Arn— Um identificador exclusivo para umAWSnome do recurso.

  • CreatedAt— Data e data e hora para a criação da revisão. As revisões autorizadas são criadas no momento da publicação.

  • UpdatedAt— Data e data e hora da última atualização da revisão.

  • Revoked— Um status indicando que o acesso dos assinantes à revisão foi revogado.

  • RevokedAt— Data e data e hora indicando quando o acesso do assinante à revisão foi revogado.

  • RevocationComment— Um comentário obrigatório para informar os assinantes sobre o motivo pelo qual seu acesso à revisão foi revogado. O tamanho mínimo exigido de caracteres é 10. Esse campo pode ter entre 10 e 512 caracteres.

  • SourceID— O ID de revisão da revisão própria correspondente à revisão autorizada que está sendo visualizada. Esse parâmetro é retornado quando o proprietário da revisão está visualizando a cópia autorizada de sua própria revisão.

exemplo recurso de revisão

        {
            "UpdatedAt": "2019-10-11T14:13:31.749Z",
            "DataSetId": "1EXAMPLE404460dc9b005a0d9EXAMPLE2f",
            "Comment": "initial data revision",
            "Finalized": true,
            "Id": "e5EXAMPLE224f879066f9999EXAMPLE42",
            "Arn": "arn:aws:dataexchange:us-east-1:123456789012:data-sets/1EXAMPLE404460dc9b005a0d9EXAMPLE2f/revisions/e5EXAMPLE224f879066f9999EXAMPLE42",
            "CreatedAt": "2019-10-11T14:11:58.064Z"
        }

Conjuntos de dados

Um conjunto de dados emAWS Data Exchangeé umcoleçãode dados que podem mudar com o tempo.

Quando os assinantes acessam um conjunto de dados do Amazon S3, eles acessam uma revisão específica no conjunto de dados. Essa estrutura permite que os provedores alterem os dados disponíveis nos conjuntos de dados ao longo do tempo sem precisar se preocupar com alterações nos dados históricos.

Quando os assinantes acessam um conjunto de dados da API, eles acessam um conjunto de dados que contém ativos da API, que permitem que os assinantes façam chamadas de API paraAWS Data Exchange-endpoints gerenciados, que são então transmitidos por proxy para os endpoints do provedor.

Quando os assinantes acessam um conjunto de dados do Amazon Redshift, eles acessam umAWS Data Exchangecompartilhamento de dados para o Amazon Redshift. Esse compartilhamento de dados dá aos assinantes acesso somente para leitura aos esquemas, tabelas, visualizações e funções definidas pelo usuário que o provedor adicionou aos compartilhamentos de dados.

Quando os assinantes acessam umAWS Lake Formationconjunto de dados de permissão de dados, eles estão acessando os bancos de dados, tabelas e/ou colunas marcados com uma tag LF especificada pelo provedor.

Quando os assinantes acessam um conjunto de dados de acesso a dados do Amazon S3, eles recebem acesso somente para leitura a objetos compartilhados do Amazon S3 hospedados nos buckets Amazon S3 do provedor. Os assinantes podem usar esses dados diretamente com outrosServiços da AWS.

Para criar, visualizar, atualizar ou excluir conjuntos de dados, os provedores podem usar oAWS Data Exchangeconsole,AWSCLI, seu próprio cliente REST ou um dosAWSSDKs. Para obter mais informações sobre o gerenciamento programáticoAWS Data Exchangeconjuntos de dados, veja oAWS Data ExchangeReferência da API.

Conjuntos de dados próprios

Um conjunto de dados pertence à conta que o criou. Os conjuntos de dados próprios podem ser identificados usando ooriginparâmetro, que é definido comoOWNED.

Conjuntos de dados autorizados

Os conjuntos de dados autorizados são uma visualização somente para leitura dos conjuntos de dados de propriedade de um provedor. Os conjuntos de dados autorizados são criados no momento da publicação do produto e disponibilizados aos assinantes que têm uma assinatura ativa do produto. Os conjuntos de dados autorizados podem ser identificados usando ooriginparâmetro, que é definido comoENTITLED.

Como assinante de dados, você pode visualizar e interagir com seus conjuntos de dados autorizados usando oAWS Data ExchangeAPI ou noAWS Data Exchangeconsole.

Como provedor de dados, você também tem acesso à visualização autorizada do conjunto de dados que seus assinantes veem. Você pode fazer isso usando oAWS Data ExchangeAPI ou escolhendo o nome do conjunto de dados na página do produto noAWS Data Exchangeconsole.

Tipos de conjuntos de dados

Os seguintes tipos de conjuntos de dados são suportados noAWS Data Exchange:

Conjunto de dados de arquivos

Um conjunto de dados de arquivos é um conjunto de dados que contém arquivos simples permitidos pelo Amazon S3.

Como assinante de dados, você pode exportar dados localmente (fazer o download para o seu computador) ou para o seu bucket do Amazon S3.

Como provedor de dados, você pode importar qualquer tipo de arquivo simples do seu bucket do Amazon S3 e adicioná-lo ao conjunto de dados.

Conjunto de dados da API

Um conjunto de dados de API é um conjunto de dados que contém ativos de API. Os ativos da API permitem que os assinantes façam chamadas de API paraAWS Data Exchange-endpoints gerenciados, que são então transmitidos por proxy para os endpoints do provedor.

Como provedor de dados, você cria uma API no Amazon API Gateway e a adiciona ao conjunto de dados para licenciar o acesso à sua API mediante assinatura.

Conjunto de dados do Amazon Redshift

Um conjunto de dados do Amazon Redshift incluiAWS Data Exchangecompartilhamentos de dados para o Amazon Redshift. Ao assinar um conjunto de dados com compartilhamentos de dados, você é adicionado como consumidor do compartilhamento de dados. Isso fornece acesso somente para leitura aos esquemas, tabelas, visualizações e funções definidas pelo usuário que o provedor adicionou aos compartilhamentos de dados.

Como assinante de dados, você pode criar um banco de dados a partir do compartilhamento de dados no Amazon Redshift e, em seguida, consultar dados ativos sem extrair, transformar e carregar arquivos. Você recebe acesso automático ao compartilhamento de dados quando sua assinatura é ativada e perde o acesso após a expiração da assinatura.

Como provedor de dados, você cria um compartilhamento de dados no Amazon Redshift e o adiciona ao conjunto de dados para licenciar o acesso ao seu compartilhamento de dados mediante assinatura.

Conjunto de dados de acesso a dados do Amazon S3

ComAWS Data Exchangepara acesso aos dados do Amazon S3, os assinantes de dados podem acessar arquivos de dados de terceiros diretamente dos buckets Amazon S3 dos provedores de dados.

Quando você assina umAWS Data Exchangepara o produto de acesso a dados Amazon S3,AWS Data Exchangefaz automaticamente o seguinte:

  • Provisiona um ponto de acesso Amazon S3. O Amazon S3 Access Point é um recurso do Amazon S3 que simplifica o compartilhamento de dados em um bucket do Amazon S3.

  • Atualiza as políticas de recursos do S3 Access Point para conceder acesso somente para leitura.

ComAWS Data Exchangepara o Amazon S3, os provedores podem compartilhar o acesso direto a um bucket inteiro do Amazon S3 ou a prefixos específicos e objetos do Amazon S3. Além disso, os provedores podem usarAWS Data Exchangepara gerenciar automaticamente assinaturas, direitos, faturamento e pagamento.

AWS Lake Formationconjunto de dados (Pré-visualização)

UmAWS Lake Formationconjunto de dados é um conjunto de dados que contémAWS Lake Formationativos de permissão de dados.

Como assinante de dados, você pode gerenciar os dados disponibilizados para você em seuAWS Lake Formation. Depois de criar links de recursos em seuAWS Lake Formation, você pode consultar os dados usando serviços de análise como o Amazon Athena.

Como provedor de dados, você marca seus dados usando tags LF noAWS Lake Formatione importe essas tags como ativos ao criar seu conjunto de dados para licenciar esses dados para assinantes.

Regiões da AWSe conjuntos de dados

Seus conjuntos de dados podem estar em qualquer lugar compatívelRegião da AWS, mas todos os conjuntos de dados em um único produto devem estar no mesmoRegião da AWS.

Estrutura do conjunto de dados

Os conjuntos de dados têm os seguintes parâmetros:

  • Name— O nome do conjunto de dados. Esse valor pode ter até 256 caracteres.

  • Description— Uma descrição do conjunto de dados. Esse valor pode ter até 16.348 caracteres.

  • AssetType— Define o tipo de ativos que o conjunto de dados contém.

  • Origin— Uma propriedade que define o conjunto de dados comoOwnedpela conta (para provedores) ouEntitledpara a conta (para assinantes).

  • Id— Um ID que identifica de forma exclusiva o conjunto de dados. Os IDs do conjunto de dados são gerados na criação do conjunto de dados. Os conjuntos de dados autorizados têm um ID diferente do conjunto de dados original de propriedade.

  • Arn— Um identificador exclusivo para umAWSnome do recurso.

  • CreatedAteUpdatedAt— Data e data e hora da criação e última atualização do conjunto de dados.

nota

Como provedor, você pode alterar algumas propriedades dos conjuntos de dados próprios, como oNomeouDescrição. A atualização de propriedades em um conjunto de dados próprio não atualizará as propriedades no conjunto de dados autorizado correspondente.

exemplo recurso de conjunto de dados
{
    "Origin": "OWNED", 
    "AssetType": "S3_SNAPSHOT", 
    "Name": "MyDataSetName", 
    "CreatedAt": "2019-09-09T19:31:49.704Z", 
    "UpdatedAt": "2019-09-09T19:31:49.704Z", 
    "Id": "fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", 
    "Arn": "arn:aws:dataexchange:us-east-2:123456789109:data-sets/fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", 
    "Description": "This is my data set's description that describes the contents of the data set."
}

Práticas recomendadas de conjuntos de dados

Como provedor, ao criar e atualizar conjuntos de dados, tenha em mente as seguintes práticas recomendadas:

  • O nome do conjunto de dados está visível nos detalhes do produto no catálogo. Recomendamos que você escolha um nome conciso e descritivo para que os clientes entendam facilmente o conteúdo do conjunto de dados.

  • A descrição é visível para os assinantes que têm uma assinatura ativa do produto. Recomendamos que você inclua informações de cobertura e os recursos e benefícios do conjunto de dados.

Tags

Você pode adicionar tags aos seus próprios conjuntos de dados e suas revisões. Ao usar a marcação, você também pode usar o controle de acesso baseado em tags noAWS Identity and Access ManagementPolíticas (IAM) para controlar o acesso a esses conjuntos de dados e revisões.

Os conjuntos de dados autorizados não podem ser marcados. As tags de conjuntos de dados próprios e suas revisões não são propagadas para as versões autorizadas correspondentes. Especificamente, os assinantes, que têm acesso somente para leitura a conjuntos de dados e revisões autorizados, não verão as tags do conjunto de dados original de propriedade.

nota

Atualmente, ativos e empregos não oferecem suporte à marcação.