Konektivitas VPC untuk Tabel S3

Semua tabel di Tabel S3 ada di Apache Iceberg format dan terdiri dari dua jenis objek S3. Kedua jenis objek ini adalah file data yang menyimpan data dan file metadata yang melacak informasi tentang file data pada titik waktu yang berbeda. Semua keranjang tabel, namespace, dan operasi tabel (misalnya,, CreateNamespaceCreateTable, dan seterusnya) dirutekan melalui titik akhir Tabel S3 (s3tables.region.amazonaws.com) dan semua operasi tingkat objek yang membaca atau menulis file data dan metadata terus dirutekan melalui titik akhir layanan S3 (). s3.region.amazonaws.com

Untuk mengakses Tabel S3, Amazon S3 mendukung dua jenis titik akhir VPC dengan AWS PrivateLink menggunakan: titik akhir gateway dan titik akhir antarmuka. Titik akhir gateway adalah gateway yang Anda tentukan dalam tabel rute untuk mengakses S3 dari VPC Anda melalui jaringan. AWS Titik akhir antarmuka memperluas fungsionalitas titik akhir gateway dengan menggunakan alamat IP pribadi untuk merutekan permintaan ke Amazon S3 dari dalam VPC Anda, di tempat, atau dari VPC di tempat lain dengan menggunakan peering VPC atau. Wilayah AWS AWS Transit Gateway

Untuk mengakses Tabel S3 dari VPC, sebaiknya buat dua titik akhir VPC (satu untuk S3 dan yang lainnya untuk Tabel S3). Anda dapat membuat gateway atau titik akhir antarmuka untuk merutekan operasi level file (objek) ke S3 dan titik akhir antarmuka untuk merutekan operasi tingkat bucket dan tabel ke Tabel S3. Anda dapat membuat dan menggunakan titik akhir VPC untuk permintaan tingkat file menggunakan S3. Untuk informasi selengkapnya, lihat titik akhir Gateway di Panduan AWS PrivateLinkPengguna.

Untuk mempelajari lebih lanjut tentang penggunaan AWS PrivateLink untuk membuat dan bekerja dengan titik akhir untuk Tabel S3, lihat topik berikut. Untuk membuat titik akhir antarmuka VPC, lihat Membuat titik akhir VPC dalam AWS PrivateLink Panduan.

Membuat titik akhir VPC untuk Tabel S3

Saat Anda membuat titik akhir VPC, Tabel S3 menghasilkan dua jenis nama DNS spesifik titik akhir: Regional dan Zonal.

• Nama DNS Regional adalah dari format berikut:VPCendpointID.s3tables.AWSregion.vpce.amazonaws.com. Misalnya, untuk ID titik akhir VPCvpce-1a2b3c4d, nama DNS yang dihasilkan akan mirip dengan vpce-1a2b3c4d-5e6f.s3tables.us-east-1.vpce.amazonaws.com

• Nama DNS Zonal adalah dari format berikut:. VPCendpointID-AvailabilityZone.s3tables.AWSregion.vpce.amazonaws.com Misalnya, Untuk ID titik akhir VPCvpce-1a2b3c4d-5e6f., nama DNS yang dihasilkan akan mirip dengan vpce-1a2b3c4d-5e6f-us-east-1a.s3tables.us-east-1.vpce.amazonaws.com

  Nama DNS Zonal mencakup Availability Zone Anda. Anda dapat menggunakan nama DNS Zonal jika arsitektur Anda mengisolasi Availability Zones. Nama DNS S3 spesifik titik akhir dapat diselesaikan dari domain DNS publik S3.

Anda juga dapat menggunakan opsi DNS Pribadi untuk menyederhanakan perutean lalu lintas S3 melalui titik akhir VPC dan membantu Anda memanfaatkan jalur jaringan dengan biaya terendah yang tersedia untuk aplikasi Anda. DNS pribadi memetakan titik akhir publik Tabel S3, misalnyas3tables.region.amazonaws.com, ke IP pribadi di VPC Anda. Anda dapat menggunakan opsi DNS pribadi untuk merutekan lalu lintas Regional S3 tanpa memperbarui klien S3 Anda untuk menggunakan nama DNS spesifik titik akhir dari titik akhir antarmuka Anda.

catatan

AWS PrivateLink untuk Amazon S3 tidak mendukung penggunaan titik akhir tumpukan ganda Amazon S3. Untuk informasi selengkapnya, lihat Menggunakan titik akhir tumpukan ganda Amazon S3 di Referensi API Amazon S3.

Mengakses bucket tabel dan tabel melalui titik akhir menggunakan AWS CLI

Anda dapat menggunakan AWS Command Line Interface (AWS CLI) untuk mengakses bucket tabel dan tabel melalui titik akhir antarmuka. Dengan AWS CLI, aws s3 perintah merutekan lalu lintas melalui titik akhir Amazon S3. aws s3tables AWS CLI Perintah menggunakan titik akhir Tabel Amazon S3.

Contoh titik akhir s3tables VPC adalah vpce-0123456afghjipljw-nmopsqea.s3tables.region.vpce.amazonaws.com

Endpoint s3tables VPC tidak menyertakan nama bucket. Anda dapat mengakses titik akhir s3tables VPC menggunakan perintah. aws s3tables AWS CLI

Contoh titik akhir s3 VPC adalah amzn-s3-demo-bucket.vpce-0123456afghjipljw-nmopsqea.s3.region.vpce.amazonaws.com

Anda dapat mengakses titik akhir s3 VPC menggunakan perintah. aws s3 AWS CLI

Menggunakan AWS CLI

Untuk mengakses bucket tabel dan tabel melalui titik akhir antarmuka menggunakan AWS CLI, gunakan -region - dan --endpoint-url parameter. Untuk melakukan tindakan bucket tabel dan tingkat tabel, gunakan URL titik akhir Tabel S3. Untuk melakukan tindakan tingkat objek, gunakan URL titik akhir Amazon S3.

Dalam contoh berikut, ganti user input placeholders dengan informasi Anda sendiri.

Contoh 1: Gunakan URL endpoint untuk mencantumkan bucket tabel di akun Anda

aws s3tables list-table-buckets --endpoint https://vpce-0123456afghjipljb-aac.s3tables.us-east-1.vpce.amazonaws.com —region us-east-1

Contoh 2: Gunakan URL endpoint untuk mencantumkan tabel di bucket

aws s3tables list-tables --table-bucket-arn arn:aws:s3tables:us-east-1:123456789301:bucket/amzn-s3-demo-bucket --endpoint https://vpce-0123456afghjipljb-aac.s3tables.us-east-1.vpce.amazonaws.com --region us-east-1

Menggunakan AWS CLI

Untuk mengakses bucket tabel dan tabel melalui titik akhir antarmuka menggunakan AWS CLI, gunakan -region - dan --endpoint-url parameter. Untuk melakukan tindakan bucket tabel dan tingkat tabel, gunakan URL titik akhir Tabel S3. Untuk melakukan tindakan tingkat objek, gunakan URL titik akhir Amazon S3.

Dalam contoh berikut, ganti user input placeholders dengan informasi Anda sendiri.

Contoh 1: Gunakan URL endpoint untuk mencantumkan bucket tabel di akun Anda

aws s3tables list-table-buckets --endpoint https://vpce-0123456afghjipljb-aac.s3tables.us-east-1.vpce.amazonaws.com —region us-east-1

Contoh 2: Gunakan URL endpoint untuk mencantumkan tabel di bucket

aws s3tables list-tables --table-bucket-arn arn:aws:s3tables:us-east-1:123456789301:bucket/amzn-s3-demo-bucket --endpoint https://vpce-0123456afghjipljb-aac.s3tables.us-east-1.vpce.amazonaws.com --region us-east-1

Mengkonfigurasi jaringan VPC saat menggunakan mesin kueri

Gunakan langkah-langkah berikut untuk mengonfigurasi jaringan VPC saat menggunakan mesin kueri.

1. Untuk memulai, Anda dapat membuat atau memperbarui VPC. Untuk informasi selengkapnya, lihat Membuat VPC.

2. Untuk operasi tingkat bucket tabel dan tabel yang merutekan ke Tabel S3, buat titik akhir antarmuka baru. Untuk informasi selengkapnya, lihat Mengakses AWS layanan menggunakan titik akhir VPC antarmuka.

3. Untuk semua operasi tingkat objek yang merutekan ke Amazon S3, buat titik akhir gateway atau titik akhir antarmuka. Untuk informasi selengkapnya tentang titik akhir gateway, lihat Membuat titik akhir gateway.

4. Selanjutnya, konfigurasikan sumber daya data Anda dan luncurkan kluster EMR Amazon. Untuk informasi selengkapnya, lihat Memulai Amazon EMR.

5. Anda kemudian dapat mengirimkan aplikasi Spark dengan konfigurasi tambahan dengan memilih nama DNS Anda dari titik akhir VPC. Misalnya, spark.sql.catalog.ice_catalog.s3tables.endpoint dan https://interface-endpoint.s3tables.us-east-1.vpce.amazonaws.com Untuk informasi selengkapnya, lihat Mengirimkan karya ke klaster EMR Amazon Anda.

Membatasi akses ke Tabel S3 dalam jaringan VPC

Mirip dengan kebijakan berbasis sumber daya, Anda dapat melampirkan kebijakan titik akhir ke titik akhir VPC yang mengontrol akses ke tabel dan bucket tabel. Dalam contoh berikut, kebijakan titik akhir antarmuka membatasi akses hanya ke bucket tabel tertentu.

{
    "Version": "2012-10-17",
    "Id": "Policy141511512309",
    "Statement": [{
        "Sid": "Access-to-specific-bucket-only",
        "Principal": "*",
        "Action": "s3tables:*",
        "Effect": "Allow",
        "Resource": [
            "arn:aws:s3tables:region:account_id:bucket/amzn-s3-demo-bucket",
            "arn:aws:s3tables:region:account_id:bucket/amzn-s3-demo-bucket/*"
        ]
    }]
}