Connettività VPC per tavoli S3

Tutte le tabelle in Tabelle S3 sono nel formato Apache Iceberg e sono costituite da due tipi di oggetti S3. Questi due tipi di oggetti sono file di dati in cui sono archiviati dati e file di metadati che tengono traccia delle informazioni sui file di dati in momenti diversi. Tutte le operazioni relative ai bucket di tabelle, agli spazi dei nomi e alle tabelle (ad esempio CreateNamespace, CreateTable e così via) vengono instradate tramite un endpoint Tabelle S3 (s3tables.region.amazonaws.com) e tutte le operazioni a livello di oggetto che leggono o scrivono i file di dati e metadati continuano a essere instradate attraverso un endpoint del servizio S3 (s3.region.amazonaws.com).

Per accedere alle tabelle S3, Amazon S3 supporta due tipi di endpoint VPC AWS PrivateLink utilizzando: endpoint gateway ed endpoint di interfaccia. Un endpoint gateway è un gateway che specifichi nella tabella di routing per accedere a S3 dal tuo VPC tramite la rete. AWS Gli endpoint di interfaccia estendono la funzionalità degli endpoint gateway utilizzando indirizzi IP privati per instradare le richieste ad Amazon S3 dall'interno del tuo VPC, in locale o da un VPC in un altro tramite peering VPC o. Regione AWS AWS Transit Gateway

Per accedere a Tabelle S3 da un VPC, è consigliabile creare due endpoint VPC (uno per S3 e l'altro per Tabelle S3). È possibile creare un gateway o un endpoint di interfaccia per indirizzare le operazioni a livello di file (oggetto) verso S3 e un endpoint di interfaccia per indirizzare le operazioni a livello di bucket e tabella verso Tabelle S3. Gli endpoint VPC possono essere creati e utilizzati per richieste a livello di file utilizzando S3. Per ulteriori informazioni, consulta Gateway Endpoints nella Guida per l'utente. AWS PrivateLink

Per ulteriori informazioni sull'utilizzo AWS PrivateLink per creare e utilizzare gli endpoint per S3 Tables, consulta i seguenti argomenti. Per creare un endpoint di interfaccia VPC, consulta Creazione di un endpoint VPC nella Guida AWS PrivateLink .

Creazione di endpoint VPC per Tabelle S3

Quando si crea un endpoint VPC, Tabelle S3 genera due tipi di nomi DNS specifici degli endpoint: regionale e zonale.

• Il formato di un nome DNS regionale è il seguente: VPCendpointID.s3tables.AWSregion.vpce.amazonaws.com. Ad esempio, per l'ID endpoint VPC vpce-1a2b3c4d, il nome DNS generato sarà simile a vpce-1a2b3c4d-5e6f.s3tables.us-east-1.vpce.amazonaws.com.

• Il formato di un nome DNS zonale è il seguente: VPCendpointID-AvailabilityZone.s3tables.AWSregion.vpce.amazonaws.com. Ad esempio, per l'ID endpoint VPC vpce-1a2b3c4d-5e6f., il nome DNS generato potrebbe sarà simile a vpce-1a2b3c4d-5e6f-us-east-1a.s3tables.us-east-1.vpce.amazonaws.com.

  Un nome DNS zonale include la zona di disponibilità dell'utente. È possibile utilizzare i nomi DNS zonali se l'architettura isola le zone di disponibilità. I nomi DNS S3 specifici degli endpoint possono essere risolti dal dominio DNS pubblico S3.

Le opzioni DNS private consentono anche di semplificare l'instradamento del traffico S3 sugli endpoint VPC e di sfruttare il percorso di rete più economico disponibile per l'applicazione. Il DNS privato mappa l'endpoint pubblico di Tabelle S3, ad esempio s3tables.region.amazonaws.com, su un IP privato nel VPC dell'utente. È possibile utilizzare le opzioni DNS private per indirizzare il traffico S3 regionale senza aggiornare i client S3 per usare i nomi DNS specifici degli endpoint di interfaccia.

Nota

AWS PrivateLink per Amazon S3 non supporta l'utilizzo di endpoint dual-stack Amazon S3. Per ulteriori informazioni, consulta Utilizzo degli endpoint dual-stack Amazon S3 nella documentazione di riferimento delle API Amazon S3.

Accesso a bucket e tabelle di tabelle tramite endpoint utilizzando il AWS CLI

Puoi usare il AWS Command Line Interface (AWS CLI) per accedere ai bucket e alle tabelle delle tabelle tramite gli endpoint dell'interfaccia. Con AWS CLI, i aws s3 comandi instradano il traffico attraverso l'endpoint Amazon S3. I aws s3tables AWS CLI comandi utilizzano l'endpoint Amazon S3 Tables.

Un esempio di endpoint VPC s3tables è vpce-0123456afghjipljw-nmopsqea.s3tables.region.vpce.amazonaws.com

Un endpoint VPC s3tables non include un nome di bucket. È possibile accedere all'endpoint s3tables VPC utilizzando i comandi. aws s3tables AWS CLI

Un esempio di endpoint VPC s3 è amzn-s3-demo-bucket.vpce-0123456afghjipljw-nmopsqea.s3.region.vpce.amazonaws.com

È possibile accedere all'endpoint s3 VPC utilizzando i comandi. aws s3 AWS CLI

Usando il AWS CLI

Per accedere ai bucket e alle tabelle tramite gli endpoint dell'interfaccia utilizzando i AWS CLI, utilizzate i parametri -region - and--endpoint-url. Per eseguire azioni a livello di tabelle e bucket di tabelle, utilizzare l'URL dell'endpoint Tabelle S3. Per eseguire azioni a livello di oggetto, utilizzare l'URL dell'endpoint Amazon S3.

Negli esempi seguenti, sostituiscili user input placeholders con le tue informazioni.

Esempio 1: Utilizzo dell'URL dell'endpoint per elencare i bucket di tabelle nel proprio account

aws s3tables list-table-buckets --endpoint https://vpce-0123456afghjipljb-aac.s3tables.us-east-1.vpce.amazonaws.com —region us-east-1

Esempio 2: Utilizzo di un URL dell'endpoint per elencare le tabelle nel proprio bucket

aws s3tables list-tables --table-bucket-arn arn:aws:s3tables:us-east-1:123456789301:bucket/amzn-s3-demo-bucket --endpoint https://vpce-0123456afghjipljb-aac.s3tables.us-east-1.vpce.amazonaws.com --region us-east-1

Configurazione di una rete VPC quando si utilizzano motori di query

Completare la procedura seguente per configurare una rete VPC quando si utilizzano motori di query.

1. Per iniziare, è possibile creare o aggiornare un VPC. Per ulteriori informazioni, consulta la sezione Creazione di un VPC.

2. Per le operazioni a livello di bucket di tabelle e di tabelle che instradano a Tabelle S3, creare un nuovo endpoint di interfaccia. Per ulteriori informazioni, consulta Accedere a un AWS servizio utilizzando un endpoint VPC di interfaccia.

3. Per tutte le operazioni a livello di oggetto che instradano ad Amazon S3, creare un endpoint gateway o un endpoint di interfaccia. Per ulteriori informazioni sugli endpoint gateway, consulta Creare un endpoint del gateway.

4. Successivamente, configurare le risorse di dati e avviare un cluster Amazon EMR. Per ulteriori informazioni, consulta Nozioni di base su Amazon EMR.

5. Pertanto è possibile inviare un'applicazione Spark con una configurazione aggiuntiva selezionando i nomi DNS dall'endpoint VPC. Ad esempio, spark.sql.catalog.ice_catalog.s3tables.endpoint e https://interface-endpoint.s3tables.us-east-1.vpce.amazonaws.com Per ulteriori informazioni, consulta Inviare il lavoro al cluster Amazon EMR.

Limitazione dell'accesso a Tabelle S3 all'interno della rete VPC

Analogamente alle policy basate sulle risorse, è possibile associare una policy degli endpoint all'endpoint VPC che controlla l'accesso a tabelle e bucket di tabelle. Nell'esempio seguente, la policy degli endpoint di interfaccia limita l'accesso solo a specifici bucket di tabelle.

JSON

{
    "Version": "2012-10-17",
    "Id": "Policy141511512309",
    "Statement": [
        {
            "Sid": "Access-to-specific-bucket-only",
            "Principal": "*",
            "Action": "s3tables:*",
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3tables:us-east-1:111122223333:bucket/amzn-s3-demo-bucket",
                "arn:aws:s3tables:us-east-1:111122223333:bucket/amzn-s3-demo-bucket/*"
            ]
        }
    ]
}