Membuat konfigurasi tabel metadata - Amazon Simple Storage Service

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat konfigurasi tabel metadata

Untuk membuat dan menyimpan Metadata Amazon S3 dalam tabel metadata yang dikelola sepenuhnya, Anda membuat Apache Iceberg konfigurasi tabel metadata untuk bucket tujuan umum Anda. Amazon S3 dirancang untuk terus memperbarui tabel metadata untuk mencerminkan perubahan terbaru pada data Anda selama konfigurasi aktif di bucket. Selain itu, Amazon S3 terus mengoptimalkan tabel metadata Anda untuk membantu mengurangi biaya penyimpanan dan meningkatkan kinerja kueri analitik.

Untuk setiap bucket tujuan umum, Anda dapat membuat konfigurasi tabel metadata yang berisi dua tabel metadata komplementer:

  • Tabel jurnal — Secara default, konfigurasi tabel metadata Anda berisi tabel jurnal, yang menangkap peristiwa yang terjadi untuk objek di bucket Anda. Tabel jurnal mencatat perubahan yang dibuat pada data Anda dalam waktu dekat, membantu Anda mengidentifikasi data baru yang diunggah ke bucket, melacak objek yang baru saja dihapus, memantau transisi siklus hidup, dan banyak lagi. Tabel jurnal mencatat objek baru dan pembaruan ke objek Anda dan metadatanya (pembaruan yang memerlukan operasi PUT atau DELETE operasi).

    Tabel jurnal menangkap metadata hanya untuk peristiwa perubahan (seperti unggahan, pembaruan, dan penghapusan) yang terjadi setelah Anda membuat konfigurasi tabel metadata Anda. Karena tabel ini dapat dikueri, Anda dapat mengaudit perubahan pada bucket Anda melalui kueri SQL sederhana.

    Tabel jurnal diperlukan untuk setiap konfigurasi tabel metadata. (Dalam rilis awal Metadata S3, tabel jurnal disebut sebagai “tabel metadata.”)

    Untuk informasi selengkapnya tentang data apa yang disimpan dalam tabel jurnal, lihatSkema tabel jurnal Metadata S3.

    Untuk membantu meminimalkan biaya penyimpanan, Anda dapat memilih untuk mengaktifkan kedaluwarsa catatan tabel jurnal. Untuk informasi selengkapnya, lihat Catatan tabel jurnal yang kedaluwarsa.

  • Tabel inventaris langsung - Secara opsional, Anda dapat menambahkan tabel inventaris langsung ke konfigurasi tabel metadata Anda. Tabel inventaris langsung menyediakan inventaris sederhana dan dapat dikueri dari semua objek dan versinya di bucket Anda sehingga Anda dapat menentukan status terbaru data Anda.

    Anda dapat menggunakan tabel inventaris langsung untuk menyederhanakan dan mempercepat alur kerja bisnis dan pekerjaan data besar dengan mengidentifikasi objek yang ingin Anda proses untuk berbagai beban kerja. Misalnya, Anda dapat menanyakan tabel inventaris langsung untuk menemukan semua objek yang disimpan dalam kelas penyimpanan tertentu, semua objek dengan tag tertentu, semua objek yang tidak dienkripsi dengan enkripsi sisi server menggunakan kunci AWS Key Management Service (AWS KMS) (SSE-KMS), dan banyak lagi.

    Saat Anda mengaktifkan tabel inventaris langsung untuk konfigurasi tabel metadata, tabel akan melalui proses yang dikenal sebagai penimbunan ulang, di mana Amazon S3 memindai bucket tujuan umum Anda untuk mengambil metadata awal untuk semua objek yang ada di bucket. Tergantung pada jumlah objek dalam ember Anda, proses ini dapat memakan waktu beberapa menit (minimal 15 menit) hingga jam. Ketika proses penimbunan ulang selesai, status tabel inventaris langsung Anda berubah dari Penimbunan Ulang menjadi Aktif. Setelah penimbunan ulang selesai, pembaruan objek Anda biasanya tercermin dalam tabel inventaris langsung dalam waktu satu jam.

    Anda dikenakan biaya untuk mengisi kembali tabel inventaris langsung Anda. Jika ember tujuan umum Anda memiliki lebih dari satu miliar objek, Anda juga dikenakan biaya bulanan untuk tabel inventaris langsung Anda. Untuk informasi selengkapnya, lihat Harga Amazon S3.

    Untuk informasi selengkapnya tentang data apa yang disimpan dalam tabel inventaris langsung, lihatSkema tabel inventaris langsung Metadata S3.

Tabel metadata memiliki format Amazon Resource Name (ARN) berikut:

arn:aws:s3tables:region-code:account-id:bucket/aws-s3/table/metadata_table_name

Tabel jurnal memiliki namajournal, dan tabel inventaris langsung memiliki namainventory.

Saat Anda membuat konfigurasi tabel metadata, tabel metadata Anda disimpan dalam keranjang tabel terkelola AWS . Semua konfigurasi tabel metadata di akun Anda dan di Wilayah yang sama disimpan dalam satu keranjang tabel AWS terkelola. Bucket tabel AWS terkelola ini diberi nama aws-s3 dan memiliki format Amazon Resource Name (ARN) berikut:

arn:aws:s3tables:region:account_id:bucket/aws-s3

Misalnya, jika ID akun Anda adalah 123456789012 dan bucket tujuan umum Anda berada di US East (Virginia N.) (us-east-1), bucket tabel AWS terkelola Anda juga dibuat di US East (Virginia N.) () us-east-1 dan memiliki ARN berikut:

arn:aws:s3tables:us-east-1:123456789012:bucket/aws-s3

Secara default, bucket tabel AWS terkelola dienkripsi dengan enkripsi sisi server menggunakan kunci terkelola Amazon S3 (SSE-S3). Setelah membuat konfigurasi metadata pertama, Anda dapat mengatur setelan enkripsi default untuk bucket tabel AWS terkelola agar menggunakan enkripsi sisi server dengan kunci AWS Key Management Service (AWS KMS) (SSE-KMS). Untuk informasi selengkapnya, lihat Enkripsi untuk bucket tabel AWS terkelola danMenentukan enkripsi sisi server dengan AWS KMS kunci (SSE-KMS) di bucket tabel.

Dalam bucket tabel AWS terkelola, tabel metadata untuk konfigurasi biasanya disimpan dalam namespace dengan format penamaan berikut:

b_general-purpose-bucket-name

Untuk informasi selengkapnya tentang ruang nama tabel metadata, lihat. Cara kerja tabel metadata

Saat membuat konfigurasi tabel metadata, Anda dapat memilih untuk mengenkripsi tabel metadata AWS terkelola dengan enkripsi sisi server menggunakan kunci () (SSE-KMS). AWS Key Management Service AWS KMS Jika Anda memilih untuk menggunakan SSE-KMS, Anda harus menyediakan kunci KMS yang dikelola pelanggan di Wilayah yang sama dengan bucket tujuan umum Anda. Anda dapat mengatur jenis enkripsi untuk tabel Anda hanya selama pembuatan tabel. Setelah tabel AWS terkelola dibuat, Anda tidak dapat mengubah pengaturan enkripsi. Untuk menentukan SSE-KMS untuk tabel metadata Anda, Anda harus memiliki izin tertentu. Untuk informasi selengkapnya, lihat Izin untuk SSE-KMS.

Pengaturan enkripsi untuk tabel metadata lebih diutamakan daripada pengaturan enkripsi tingkat ember default. Jika Anda tidak menentukan enkripsi untuk tabel, itu akan mewarisi pengaturan enkripsi default dari bucket.

AWS bucket tabel terkelola tidak dihitung dalam kuota Tabel S3 Anda. Untuk informasi selengkapnya tentang bekerja dengan bucket tabel AWS terkelola dan tabel AWS terkelola, lihat Bekerja dengan bucket tabel AWS terkelola.

Anda dapat membuat konfigurasi tabel metadata menggunakan konsol Amazon S3,AWS CLI(), API AWS Command Line Interface REST Amazon S3, AWS SDKs atau Amazon S3.

catatan
  • Jika Anda membuat konfigurasi Metadata S3 sebelum 15 Juli 2025, kami sarankan Anda menghapus dan membuat ulang konfigurasi Anda sehingga Anda dapat kedaluwarsa catatan tabel jurnal dan membuat tabel inventaris. Untuk informasi selengkapnya, lihat Mengaktifkan tabel inventaris pada konfigurasi metadata yang dibuat sebelum 15 Juli 2025.

  • Jika Anda telah menghapus konfigurasi tabel metadata dan ingin membuat ulang konfigurasi untuk bucket tujuan umum yang sama, Anda harus terlebih dahulu menghapus jurnal dan tabel inventaris lama secara manual dari keranjang tabel AWS terkelola. Jika tidak, membuat konfigurasi tabel metadata baru gagal karena tabel tersebut sudah ada. Untuk menghapus tabel metadata Anda, lihat. Hapus tabel metadata

    Menghapus konfigurasi tabel metadata hanya menghapus konfigurasi. Bucket tabel AWS terkelola dan tabel metadata Anda masih ada, meskipun Anda menghapus konfigurasi tabel metadata.

Prasyarat

Sebelum Anda membuat konfigurasi tabel metadata pastikan bahwa Anda telah memenuhi prasyarat berikut:

  • Sebelum Anda membuat konfigurasi tabel metadata, pastikan Anda memiliki izin AWS Identity and Access Management (IAM) yang diperlukan untuk membuat dan mengelola tabel metadata. Untuk informasi selengkapnya, lihat Menyiapkan izin untuk mengonfigurasi tabel metadata.

  • Jika Anda berencana untuk menanyakan tabel metadata Anda dengan Amazon Athena atau mesin kueri AWS lain, pastikan AWS Anda mengintegrasikan bucket AWS tabel terkelola dengan layanan analitik. Untuk informasi selengkapnya, lihat Mengintegrasikan Tabel AWS Amazon S3 dengan layanan analitik.

    Jika Anda telah mengintegrasikan bucket tabel yang ada di Wilayah ini, bucket tabel AWS terkelola Anda juga terintegrasi secara otomatis. Untuk menentukan status integrasi bucket tabel di Wilayah ini, buka konsol Amazon S3, lalu pilih Bucket tabel di panel navigasi kiri. Di bawah Integrasi dengan layanan AWS analitik, periksa Wilayah dan apakah status integrasi mengatakan Diaktifkan.

Buat konfigurasi tabel metadata

Untuk membuat konfigurasi tabel metadata

Sebelum Anda membuat konfigurasi tabel metadata, pastikan bahwa Anda telah meninjau dan memenuhi prasyarat dan bahwa Anda telah meninjau. Batasan dan batasan tabel metadata

  1. Masuk ke AWS Management Console dan buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

  2. Di panel navigasi kiri, pilih Bucket tujuan umum.

  3. Pilih bucket tujuan umum yang Anda inginkan untuk membuat konfigurasi tabel metadata.

    catatan

    Pastikan ember tujuan umum ini adalah Wilayah AWS tempat ember meja tersedia. Bucket meja hanya tersedia di Wilayah AS Timur (Virginia N.), AS Timur (Ohio), dan AS Barat (Oregon).

  4. Pada halaman detail bucket, pilih tab Metadata.

  5. Pada tab Metadata, pilih Buat konfigurasi metadata.

  6. Pada halaman Buat konfigurasi metadata, di bawah tabel Jurnal, Anda dapat memilih apakah akan mengenkripsi tabel Anda dengan enkripsi sisi server menggunakan AWS Key Management Service () kunci (AWS KMS SSE-KMS). Secara default, tabel jurnal dienkripsi dengan enkripsi sisi server menggunakan kunci terkelola Amazon S3 (SSE-S3).

    Jika Anda memilih untuk menggunakan SSE-KMS, Anda harus menyediakan kunci KMS yang dikelola pelanggan di Wilayah yang sama dengan bucket tujuan umum Anda.

    penting

    Anda dapat mengatur jenis enkripsi untuk tabel metadata Anda hanya selama pembuatan tabel. Setelah tabel AWS terkelola dibuat, Anda tidak dapat mengubah pengaturan enkripsi.

    • Untuk mengenkripsi tabel jurnal Anda dengan SSE-S3 (default), pilih Jangan tentukan jenis enkripsi.

    • Untuk mengenkripsi tabel jurnal Anda dengan SSE-KMS, pilih Tentukan jenis enkripsi. Di bawah Jenis enkripsi, pilih Enkripsi sisi server menggunakan kunci AWS Key Management Service (AWS KMS) (SSE-KMS). Di bawah AWS KMS kunci, pilih dari kunci KMS yang ada, atau masukkan ARN kunci KMS Anda. Jika Anda belum memiliki kunci KMS, pilih Masukkan KMS kunci ARN, lalu pilih Buat kunci KMS.

      Pastikan Anda telah menyiapkan izin yang diperlukan untuk SSE-KMS. Untuk informasi selengkapnya, lihat Izin untuk SSE-KMS.

  7. (Opsional) Secara default, catatan dalam tabel jurnal Anda tidak kedaluwarsa. Untuk membantu meminimalkan biaya penyimpanan untuk tabel jurnal Anda, pilih Diaktifkan untuk Rekam kedaluwarsa.

    Jika Anda mengaktifkan kedaluwarsa catatan tabel jurnal, Anda dapat mengatur jumlah hari untuk menyimpan catatan tabel jurnal Anda. Untuk mengatur nilai Hari setelah catatan kedaluwarsa, Anda dapat menentukan bilangan bulat antara 7 dan2147483647. Misalnya, untuk menyimpan catatan tabel jurnal Anda selama satu tahun, tetapkan nilai ini365.

    Catatan akan kedaluwarsa dalam waktu 24 hingga 48 jam setelah memenuhi syarat untuk kedaluwarsa.

    penting

    Setelah catatan tabel jurnal kedaluwarsa, mereka tidak dapat dipulihkan.

    Di bawah Catatan tabel jurnal akan kedaluwarsa setelah jumlah hari yang ditentukan, pilih kotak centang.

  8. (Opsional) Jika Anda ingin menambahkan tabel inventaris ke konfigurasi tabel metadata Anda, di bawah tabel inventaris langsung, pilih Diaktifkan untuk status Konfigurasi.

    Anda dapat memilih apakah akan mengenkripsi tabel Anda dengan enkripsi sisi server menggunakan AWS Key Management Service (AWS KMS) kunci (SSE-KMS). Secara default, tabel inventaris dienkripsi dengan enkripsi sisi server menggunakan kunci terkelola Amazon S3 (SSE-S3).

    Jika Anda memilih untuk menggunakan SSE-KMS, Anda harus menyediakan kunci KMS yang dikelola pelanggan di Wilayah yang sama dengan bucket tujuan umum Anda.

    penting

    Anda dapat mengatur jenis enkripsi untuk tabel metadata Anda hanya selama pembuatan tabel. Setelah tabel AWS terkelola dibuat, Anda tidak dapat mengubah pengaturan enkripsi.

    • Untuk mengenkripsi tabel inventaris Anda dengan SSE-S3 (default), pilih Jangan tentukan jenis enkripsi.

    • Untuk mengenkripsi tabel inventaris Anda dengan SSE-KMS, pilih Tentukan jenis enkripsi. Di bawah Jenis enkripsi, pilih Enkripsi sisi server menggunakan kunci AWS Key Management Service (AWS KMS) (SSE-KMS). Di bawah AWS KMS kunci, pilih dari kunci KMS yang ada, atau masukkan ARN kunci KMS Anda. Jika Anda belum memiliki kunci KMS, pilih Masukkan KMS kunci ARN, lalu pilih Buat kunci KMS.

      Pastikan Anda telah menyiapkan izin yang diperlukan untuk SSE-KMS. Untuk informasi selengkapnya, lihat Izin untuk SSE-KMS.

  9. Pilih Buat konfigurasi tabel metadata.

Jika konfigurasi tabel metadata berhasil, nama dan ARNs tabel metadata akan ditampilkan di tab Metadata, bersama dengan nama bucket tabel terkelola dan namespace. AWS

Jika Anda memilih untuk mengaktifkan tabel inventaris untuk konfigurasi tabel metadata, tabel akan melalui proses yang dikenal sebagai penimbunan ulang, di mana Amazon S3 memindai bucket tujuan umum Anda untuk mengambil metadata awal untuk semua objek yang ada di bucket. Tergantung pada jumlah objek dalam ember Anda, proses ini dapat memakan waktu beberapa menit (minimal 15 menit) hingga jam. Ketika proses penimbunan ulang selesai, status tabel inventaris Anda berubah dari Penimbunan Ulang menjadi Aktif. Setelah penimbunan ulang selesai, pembaruan objek Anda biasanya tercermin dalam tabel inventaris dalam waktu satu jam.

Untuk memantau pembaruan konfigurasi tabel metadata Anda, Anda dapat menggunakannya. AWS CloudTrail Untuk informasi selengkapnya, lihat Tindakan tingkat ember Amazon S3 yang dilacak dengan logging CloudTrail .

Untuk menjalankan perintah berikut, Anda harus AWS CLI menginstal dan mengkonfigurasi. Jika Anda belum menginstal, lihat Menginstal atau memperbarui ke versi terbaru dari AWS CLI Panduan AWS Command Line Interface Pengguna. AWS CLI

Atau, Anda dapat menjalankan AWS CLI perintah dari konsol dengan menggunakan AWS CloudShell. AWS CloudShell adalah shell pra-otentikasi berbasis browser yang dapat Anda luncurkan langsung dari file. AWS Management Console Untuk informasi lebih lanjut, lihat Apa itu CloudShell? dan Memulai dengan AWS CloudShell di Panduan AWS CloudShell Pengguna.

Untuk membuat konfigurasi tabel metadata dengan menggunakan AWS CLI

Sebelum Anda membuat konfigurasi tabel metadata, pastikan bahwa Anda telah meninjau dan memenuhi prasyarat dan bahwa Anda telah meninjau. Batasan dan batasan tabel metadata

Untuk menggunakan perintah contoh berikut, ganti user input placeholders dengan informasi Anda sendiri.

  1. Buat file JSON yang berisi konfigurasi tabel metadata Anda, dan simpan (misalnya,). metadata-config.json Berikut ini adalah konfigurasi sampel.

    Anda harus menentukan apakah akan mengaktifkan atau menonaktifkan kedaluwarsa catatan tabel jurnal. Jika Anda memilih untuk mengaktifkan kedaluwarsa rekaman, Anda juga harus menentukan jumlah hari setelah catatan tabel jurnal Anda akan kedaluwarsa. Untuk mengatur Days nilai, Anda dapat menentukan bilangan bulat antara 7 dan2147483647. Misalnya, untuk menyimpan catatan tabel jurnal Anda selama satu tahun, tetapkan nilai ini365.

    Anda dapat memilih untuk mengonfigurasi tabel inventaris secara opsional.

    Untuk tabel jurnal dan tabel inventaris, Anda dapat menentukan konfigurasi enkripsi secara opsional. Secara default, tabel metadata dienkripsi dengan enkripsi sisi server menggunakan kunci terkelola Amazon S3 (SSE-S3), yang dapat Anda tentukan dengan menyetelnya. SseAlgorithm AES256

    Untuk mengenkripsi tabel metadata Anda dengan enkripsi sisi server menggunakan kunci AWS Key Management Service (AWS KMS) (SSE-KMS), atur ke. SseAlgorithm aws:kms Anda juga harus menyetel KmsKeyArn ke ARN kunci KMS yang dikelola pelanggan di Wilayah yang sama di mana bucket tujuan umum Anda berada.

    { "JournalTableConfiguration": { "RecordExpiration": { "Expiration": "ENABLED", "Days": 10 }, "EncryptionConfiguration": { "SseAlgorithm": "AES256" } }, "InventoryTableConfiguration": { "ConfigurationState": "ENABLED", "EncryptionConfiguration": { "SseAlgorithm": "aws:kms", "KmsKeyArn": "arn:aws:kms:us-east-2:account-id:key/key-id" } } }
  2. Gunakan perintah berikut untuk menerapkan konfigurasi tabel metadata ke bucket tujuan umum Anda (misalnya,amzn-s3-demo-bucket):

    aws s3api create-bucket-metadata-configuration \ --bucket amzn-s3-demo-bucket \ --metadata-configuration file://./metadata-config.json \ --region us-east-2
  3. Untuk memverifikasi bahwa konfigurasi telah dibuat, gunakan perintah berikut:

    aws s3api get-bucket-metadata-configuration \ --bucket amzn-s3-demo-bucket \ --region us-east-2

Untuk memantau pembaruan konfigurasi tabel metadata Anda, Anda dapat menggunakannya. AWS CloudTrail Untuk informasi selengkapnya, lihat Tindakan tingkat ember Amazon S3 yang dilacak dengan logging CloudTrail .

Anda dapat mengirim permintaan REST untuk membuat konfigurasi tabel metadata. Untuk informasi selengkapnya, lihat CreateBucketMetadataConfiguration di Referensi API Amazon S3.

Anda dapat menggunakan AWS SDKs untuk membuat konfigurasi tabel metadata di Amazon S3. Untuk selengkapnya, lihat daftar yang didukung SDKs di Referensi API Amazon S3.

Mengaktifkan tabel inventaris pada konfigurasi metadata yang dibuat sebelum 15 Juli 2025

Jika Anda membuat konfigurasi Metadata S3 sebelum 15 Juli 2025, kami sarankan Anda menghapus dan membuat ulang konfigurasi Anda sehingga Anda dapat kedaluwarsa catatan tabel jurnal dan membuat tabel inventaris. Setiap perubahan pada bucket tujuan umum Anda yang terjadi antara menghapus konfigurasi lama dan membuat yang baru tidak dicatat di salah satu tabel jurnal Anda.

Untuk bermigrasi dari konfigurasi metadata lama ke konfigurasi baru, lakukan hal berikut:

  1. Hapus konfigurasi tabel metadata yang ada. Untuk step-by-step instruksi, lihatMenghapus konfigurasi tabel metadata.

  2. Buat konfigurasi tabel metadata baru. Untuk step-by-step instruksi, lihatMembuat konfigurasi tabel metadata.

Jika Anda memerlukan bantuan untuk memigrasi konfigurasi Anda, hubungi AWS Dukungan.

Setelah Anda membuat konfigurasi metadata baru Anda, Anda akan memiliki dua tabel jurnal. Jika Anda tidak lagi membutuhkan tabel jurnal lama, Anda dapat menghapusnya. Untuk step-by-step instruksi, lihatMenghapus tabel metadata. Jika Anda telah mempertahankan tabel jurnal lama Anda dan ingin bergabung dengan yang baru, lihat Bergabung dengan metadata kustom dengan tabel metadata S3 contoh cara menggabungkan dua tabel.

Setelah migrasi, Anda dapat melakukan hal berikut:

  1. Untuk melihat konfigurasi Anda, Anda sekarang dapat menggunakan operasi GetBucketMetadataConfiguration API. Untuk menentukan apakah konfigurasi Anda sudah lama atau baru, Anda dapat melihat atribut respons GetBucketMetadataConfiguration API berikut. Tipe bucket AWS terkelola ("aws") menunjukkan konfigurasi baru, dan tipe bucket yang dikelola pelanggan ("customer") menunjukkan konfigurasi lama.

    "MetadataTableConfigurationResult": { "TableBucketType": ["aws" | "customer"]

    Untuk informasi selengkapnya, lihat Melihat konfigurasi tabel metadata.

    catatan

    Anda dapat menggunakan operasi GetBucketMetadataConfiguration dan DeleteBucketMetadataConfiguration API dengan konfigurasi tabel metadata lama atau baru. Namun, jika Anda mencoba menggunakan operasi DeleteBucketMetadataTableConfiguration API GetBucketMetadataTableConfiguration dan dengan konfigurasi baru, Anda akan menerima 405 Method Not Allowed kesalahan HTTP.

    Pastikan Anda memperbarui proses untuk menggunakan operasi API baru (CreateBucketMetadataConfiguration,GetBucketMetadataConfiguration, danDeleteBucketMetadataConfiguration) alih-alih operasi API lama.

  2. Jika Anda berencana untuk menanyakan tabel metadata Anda dengan Amazon Athena atau mesin kueri AWS lain, pastikan AWS Anda mengintegrasikan bucket AWS tabel terkelola dengan layanan analitik. Jika Anda telah mengintegrasikan bucket tabel yang ada di Wilayah ini, bucket tabel AWS terkelola Anda juga terintegrasi secara otomatis. Untuk informasi selengkapnya, lihat Mengintegrasikan Tabel AWS Amazon S3 dengan layanan analitik.