Inventaris Amazon S3

penting

Amazon S3 sekarang sudah menerapkan enkripsi sisi server dengan kunci terkelola Amazon S3 (SSE-S3) sebagai tingkat enkripsi dasar untuk setiap bucket di Amazon S3. Mulai 5 Januari 2023, semua unggahan objek baru ke Amazon S3 secara otomatis akan dienkripsi tanpa biaya tambahan, dan tanpa adanya dampak pada performa. Status enkripsi otomatis untuk konfigurasi enkripsi default bucket S3 dan untuk unggahan objek baru tersedia di AWS CloudTrail log, S3 Inventory, S3 Storage Lens, konsol Amazon S3, dan sebagai header respons API Amazon S3 tambahan di dan SDK. AWS Command Line Interface AWS Untuk informasi selengkapnya, lihat FAQ Enkripsi default.

Gunakan Inventaris Amazon S3 untuk membantu mengelola penyimpanan. Misalnya, Anda dapat menggunakannya untuk mengaudit dan melaporkan replikasi dan status enkripsi objek untuk kebutuhan bisnis, kepatuhan, dan regulasi. Anda juga dapat menyederhanakan dan mempercepat alur kerja bisnis dan pekerjaan big data dengan menggunakan Inventaris Amazon S3, yang menyediakan alternatif terjadwal untuk operasi API List asinkron Amazon S3. Inventaris Amazon S3 tidak menggunakan operasi List API untuk mengaudit objek dan tidak memengaruhi tingkat permintaan bucket.

Inventaris Amazon S3 menyediakan nilai yang dipisahkan koma (CSV), Apache baris kolom yang dioptimalkan (ORC) atau file keluaran Apache Parquet yang mencantumkan objek dan metadata terkaitnya setiap hari atau setiap minggu untuk bucket S3 atau objek dengan awalan bersama (yaitu, objek yang memiliki nama yang dimulai dengan string yang sama). Jika Anda memulai inventaris mingguan, laporan akan dibuat setiap hari Minggu (zona waktu UTC) setelah laporan awal. Untuk informasi tentang ketentuan harga inventaris Amazon S3, lihat Harga Amazon S3.

Anda dapat mengonfigurasi beberapa daftar inventaris untuk satu bucket. Saat mengonfigurasi daftar inventaris, Anda dapat menentukan hal-hal berikut:

• Metadata objek yang akan disertakan di inventaris

• Mencantumkan semua versi objek atau hanya versi saat ini

• Tempat penyimpanan output file daftar inventaris

• Membuat inventaris harian atau mingguan

• Mengenkripsi file daftar inventaris atau tidak

Anda dapat melakukan kueri Inventaris Amazon S3 dengan kueri SQL standar dengan menggunakan Amazon Athena, Amazon Redshift Spectrum, dan alat lainnya, seperti Presto, Apache Hive, dan Apache Spark. Untuk informasi selengkapnya tentang penggunaan Athena untuk mengkueri file inventaris, lihat Menanyakan Inventaris Amazon S3 dengan Amazon Athena.

Bucket sumber dan tujuan

Bucket yang daftar objeknya dibuat oleh inventaris disebut bucket sumber. Bucket tempat menyimpan file daftar inventaris disebut bucket tujuan.

Bucket sumber

Inventaris akan mencantumkan objek yang disimpan di dalam bucket sumber. Anda bisa mendapatkan daftar inventaris untuk seluruh bucket, atau memfilter daftar tersebut berdasarkan awalan nama kunci objek.

Bucket sumber:

• Berisi objek yang tercantum di dalam inventaris

• Berisi konfigurasi untuk inventaris

Bucket tujuan

File daftar inventaris Amazon S3 akan ditulis ke bucket tujuan. Untuk mengelompokkan semua file daftar inventaris di lokasi yang sama di dalam bucket tujuan, Anda dapat menentukan awalan tujuan di konfigurasi inventaris.

Bucket tujuan:

• Berisi daftar file inventaris.

• Berisi file manifes yang mencantumkan semua file daftar inventaris yang disimpan di dalam bucket tujuan. Untuk informasi selengkapnya, lihat Manifes inventaris.

• Harus memiliki kebijakan bucket agar dapat memberikan izin ke Amazon S3 untuk memverifikasi kepemilikan bucket dan izin untuk menulis file ke bucket.

• Harus Wilayah AWS sama dengan ember sumber.

• Bisa sama dengan bucket sumber.

• Dapat dimiliki oleh akun yang berbeda Akun AWS dari akun yang memiliki bucket sumber.

Daftar Inventaris Amazon S3

File daftar inventaris berisi daftar objek di dalam bucket sumber dan metadata untuk setiap objek. File daftar inventaris disimpan di dalam bucket tujuan dengan salah satu format berikut:

• Sebagai file CSV yang dikompresi dengan GZIP

• Sebagai file kolom baris (ORC) yang dioptimalkan Apache dan dikompresi dengan ZLIB

• Sebagai file Apache Parquet yang dikompresi dengan Snappy

catatan

Objek di laporan Inventaris Amazon S3 tidak dijamin akan diurutkan dengan urutan tertentu.

File daftar inventaris berisi daftar objek di dalam bucket sumber dan metadata untuk setiap objek yang terdaftar:

• Nama bucket – Nama dari bucket yang digunakan untuk menyimpan inventaris.

• Nama kunci – Nama kunci objek (atau kunci) yang mengidentifikasi objek secara unik di dalam bucket. Saat Anda menggunakan format file CSV, nama kuncinya dikodekan dengan URL dan harus didekodekan sebelum dapat digunakan.

• ID Versi – ID versi objek. Saat Anda mengaktifkan versioning di bucket, Amazon S3 akan menetapkan nomor versi untuk objek yang ditambahkan ke dalam bucket. Untuk informasi selengkapnya, lihat Menggunakan Penentuan Versi dalam bucket S3. (Bidang ini tidak disertakan jika daftar tersebut dikonfigurasi hanya untuk versi objek saat ini.)

• IsLatest – Diatur ke True jika objek adalah versi objek saat ini. (Bidang ini tidak disertakan jika daftar tersebut dikonfigurasi hanya untuk versi objek saat ini.)

• Delete marker – Diatur ke True, jika objeknya adalah delete marker. Untuk informasi selengkapnya, lihat Menggunakan Penentuan Versi dalam bucket S3. (Bidang ini secara otomatis akan ditambahkan ke laporan jika Anda mengonfigurasi laporan untuk menyertakan semua versi objek).

• Ukuran – Ukuran objek dalam byte, tidak termasuk ukuran unggahan multipart yang tidak lengkap, metadata objek, dan delete marker.

• Tanggal terakhir diubah – Tanggal pembuatan objek atau tanggal modifikasi terakhir, mana saja yang terbaru.

• ETag – Tag entitas (ETag) adalah hash dari objek. ETag menunjukkan perubahan hanya pada konten suatu objek, bukan metadata-nya. ETag dapat berupa ringkasan MD5 dari suatu data objek. Ketentuannya tergantung pada bagaimana objek dibuat dan bagaimana objek dienkripsi.

• Kelas penyimpanan – Kelas penyimpanan yang digunakan untuk menyimpan objek. Atur ke STANDARD, REDUCED_REDUNDANCY, STANDARD_IA, ONEZONE_IA, INTELLIGENT_TIERING, GLACIER, DEEP_ARCHIVE, OUTPOSTS, GLACIER_IR, or SNOW. Untuk informasi selengkapnya, lihat Menggunakan kelas penyimpanan Amazon S3.

• Flag unggahan multibagian – Atur ke True jika objek diunggah sebagai unggahan multibagian. Untuk informasi selengkapnya, lihat Mengunggah dan menyalin objek menggunakan unggahan multibagian.

• Status replikasi – Atur ke PENDING, COMPLETED, FAILED, atau REPLICA. Untuk informasi selengkapnya, lihat Mendapatkan informasi status replikasi.

• Status enkripsi — Status enkripsi sisi server, tergantung pada jenis kunci enkripsi yang digunakan—kunci yang dikelola Amazon S3 (SSE-S3), kunci () (SSE-KMS) AWS Key Management Service , atau kunci AWS KMS yang disediakan pelanggan (SSE-C). Atur ke SSE-S3, SSE-C, SSE-KMS, or NOT-SSE. Status NOT-SSE mengindikasikan bahwa objek tersebut tidak dienkripsi dengan enkripsi sisi server. Untuk informasi selengkapnya, lihat Melindungi data dengan enkripsi.

• Kunci Objek S3 bertahan hingga tanggal – Tanggal sampai objek yang terkunci tidak dapat dihapus. Untuk informasi selengkapnya, lihat Menggunakan Kunci Objek S3.

• Mode retensi Kunci Objek S3 – Atur ke Governance atau Compliance untuk objek yang terkunci. Untuk informasi selengkapnya, lihat Menggunakan Kunci Objek S3.

• Status penahanan hukum Kunci Objek S3 – Atur ke On jika penahanan hukum sudah diterapkan pada suatu objek. Jika belum, atur statusnya ke Off. Untuk informasi selengkapnya, lihat Menggunakan Kunci Objek S3.

• Tingkat akses S3 Intelligent-Tiering – Tingkat akses (sering atau jarang) dari suatu objek jika disimpan di kelas penyimpanan S3 Intelligent-Tiering. Atur ke FREQUENT, INFREQUENT, ARCHIVE_INSTANT_ACCESS, ARCHIVE, atau DEEP_ARCHIVE. Untuk informasi selengkapnya, lihat Kelas penyimpanan untuk mengoptimalkan data secara otomatis dengan pola akses yang berubah atau tidak diketahui.

• Status Kunci Bucket S3 – Atur ke ENABLED atau DISABLED. Menunjukkan apakah suatu objek menggunakan Kunci Bucket S3 untuk SSE-KMS. Untuk informasi selengkapnya, lihat Menggunakan Kunci Bucket Amazon S3.

• Algoritma checksum – Menunjukkan algoritma yang digunakan untuk membuat checksum untuk objek.

• Daftar kontrol akses objek — Daftar kontrol akses (ACL) untuk setiap objek yang mendefinisikan Akun AWS atau kelompok mana yang diberikan akses ke objek ini dan jenis akses yang diberikan. Bidang ACL Objek ditentukan dalam format JSON. Laporan Inventaris S3 menyertakan ACL yang terkait dengan objek di bucket sumber Anda, bahkan saat ACL dinonaktifkan untuk bucket. Lihat informasi yang lebih lengkap di Menggunakan bidang ACL Objek dan Gambaran umum daftar kontrol akses (ACL).

  catatan

  Bidang Object ACL didefinisikan ke dalam format JSON. Laporan inventaris menampilkan nilai untuk bidang ACL Objek sebagai string berkode base64.

  Misalnya, katakanlah Anda memiliki ACL Objek berikut dalam format JSON:

  {
          "version": "2022-11-10",
          "status": "AVAILABLE",
          "grants": [{
              "canonicalId": "example-canonical-user-ID",
              "type": "CanonicalUser",
              "permission": "READ"
          }]
  }    

  Bidang ACL Objek dikodekan dan ditampilkan sebagai string yang dikodekan dengan base64 berikut ini:

  eyJ2ZXJzaW9uIjoiMjAyMi0xMS0xMCIsInN0YXR1cyI6IkFWQUlMQUJMRSIsImdyYW50cyI6W3siY2Fub25pY2FsSWQiOiJleGFtcGxlLWNhbm9uaWNhbC11c2VyLUlEIiwidHlwZSI6IkNhbm9uaWNhbFVzZXIiLCJwZXJtaXNzaW9uIjoiUkVBRCJ9XX0=

  Untuk mendapatkan nilai yang terdekripsi dalam JSON untuk bidang ACL Objek, Anda dapat melakukan kueri pada bidang ini di Amazon Athena. Untuk contoh kueri, lihat Menanyakan Inventaris Amazon S3 dengan Amazon Athena.

• Pemilik objek – Pemilik dari objek tersebut.

catatan

Saat objek mencapai akhir masa pakai berdasarkan konfigurasi siklus hidupnya, Amazon S3 akan mengantre objek untuk dihapus dan menghapusnya tidak secara bersamaan. Oleh karena itu, penundaan antara tanggal kedaluwarsa dan tanggal saat Amazon S3 menghapus objek mungkin ditemukan. Laporan inventaris mencakup semua objek yang kedaluwarsa tetapi belum dihapus. Untuk informasi selengkapnya tentang tindakan kedaluwarsa di Siklus Hidup S3, lihat Mengakhiri objek.

Anda sebaiknya membuat kebijakan siklus hidup yang menghapus daftar inventaris lama. Untuk informasi selengkapnya, lihat Mengelola siklus hidup penyimpanan Anda.

Izin s3:PutInventoryConfiguration memungkinkan pengguna untuk memilih semua bidang metadata yang tercantum sebelumnya untuk setiap objek saat mengonfigurasi daftar inventaris dan menentukan bucket tujuan untuk menyimpan inventaris. Pengguna dengan akses baca ke objek di bucket tujuan dapat mengakses semua bidang metadata objek yang tersedia di daftar inventaris. Untuk membatasi akses ke laporan inventaris, lihat Berikan izin untuk Inventaris S3 dan analitik S3.

Konsistensi inventaris

Semua objek mungkin tidak akan muncul di setiap daftar inventaris. Daftar inventaris akan memberikan konsistensi akhir untuk permintaan (objek baru dan penimpaan) PUT dan permintaan DELETE. Setiap daftar inventaris untuk bucket berisi cuplikan item bucket. Daftar inventari ini pada akhirnya konsisten (maksudnya, daftar mungkin tidak akan menyertakan objek yang baru ditambahkan atau dihapus).

Untuk memvalidasi status objek sebelum Anda mengambil tindakan untuk objek tertentu, sebaiknya lakukan permintaan API REST HeadObject untuk mengambil metadata untuk objek tersebut, atau memeriksa properti objeknya di konsol Amazon S3. Anda juga dapat memeriksa metadata objek dengan AWS CLI atau SDKS. AWS Untuk informasi lebih lanjut, lihat HeadObject di dalam Referensi API Layanan Penyimpanan Sederhana Amazon.

Untuk informasi selengkapnya tentang bekerja dengan Inventaris Amazon S3, lihat topik-topik berikut.

Topik

• Mengonfigurasi Inventaris Amazon S3
• Menyiapkan Notifikasi Peristiwa Amazon S3 untuk penyelesaian inventaris
• Menemukan daftar inventaris
• Menanyakan Inventaris Amazon S3 dengan Amazon Athena
• Mengonversi string ID versi kosong di laporan Inventaris Amazon S3 ke string nol
• Menggunakan bidang ACL Objek