Menghapus file yatim piatu - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menghapus file yatim piatu

AWS Glue Data Catalog memungkinkan Anda untuk menghapus file yatim piatu dari tabel Iceberg Anda. File yatim piatu adalah file yang tidak direferensikan yang ada di sumber data Amazon S3 Anda di bawah lokasi tabel yang ditentukan, tidak dilacak oleh metadata tabel Iceberg, dan lebih tua dari batas usia yang dikonfigurasi. File yatim piatu ini dapat terakumulasi dari waktu ke waktu karena kegagalan dalam operasi seperti pemadatan, penurunan partisi, atau penulisan ulang tabel, dan mengambil ruang penyimpanan yang tidak perlu.

Pengoptimal penghapusan file yatim piatu dalam AWS Glue memindai metadata tabel dan file data aktual, mengidentifikasi file yatim piatu, dan menghapusnya untuk merebut kembali ruang penyimpanan. Pengoptimal hanya menghapus file yang dibuat setelah tanggal pembuatan pengoptimal yang juga memenuhi kriteria penghapusan yang dikonfigurasi. File yang dibuat sebelum atau pada tanggal pembuatan pengoptimal tidak pernah dihapus.

Logika penghapusan file yatim piatu

  1. Pemeriksaan tanggal - Membandingkan tanggal pembuatan file dengan tanggal pembuatan pengoptimal. Jika file lebih tua dari atau sama dengan tanggal pembuatan pengoptimal, file dilewati.

  2. Pemeriksaan konfigurasi pengoptimal - Jika file lebih baru dari tanggal pembuatan pengoptimal, evaluasi file terhadap batas usia yang dikonfigurasi. Pengoptimal menghapus file jika cocok dengan kriteria penghapusan. Melewatkan file, jika tidak sesuai dengan kriteria.

Anda dapat memulai penghapusan file yatim piatu dengan membuat pengoptimal tabel penghapusan file yatim piatu di Katalog Data.

penting

Secara default, penghapusan file yatim mengevaluasi file di seluruh lokasi tabel Anda. AWS Glue Meskipun Anda dapat mengonfigurasi sub-awalan untuk membatasi cakupan evaluasi menggunakan parameter API, Anda harus memastikan lokasi tabel tidak berisi file dari sumber data atau tabel lain. Jika lokasi tabel Anda tumpang tindih dengan sumber data lain, layanan mungkin mengidentifikasi dan menghapus file yang tidak terkait sebagai anak yatim.