Secara otomatis mengimpor pembaruan dari bucket S3

Anda dapat mengonfigurasi FSx for Lustre untuk memperbarui metadata secara otomatis dalam sistem file saat objek ditambahkan, diubah, atau dihapus dari bucket S3 Anda. FSx for Lustre membuat, memperbarui, atau menghapus daftar file dan direktori, sesuai dengan perubahan di S3. Jika objek yang diubah dalam bucket S3 tidak lagi berisi metadatanya, fsX for Lustre mempertahankan nilai metadata file saat ini, termasuk izin saat ini.

catatan

Sistem file FSx for Lustre dan bucket S3 yang ditautkan harus berada di tempat yang sama untuk mengimpor pembaruan secara Wilayah AWS otomatis.

Anda dapat mengonfigurasi impor otomatis saat membuat asosiasi repositori data, dan Anda dapat memperbarui setelan impor otomatis kapan saja menggunakan konsol manajemen FSx, API, atau APIAWS CLI. AWS

catatan

Anda dapat mengonfigurasi impor otomatis dan ekspor otomatis pada asosiasi repositori data yang sama. Topik ini hanya menjelaskan fitur impor otomatis.

penting

• Jika objek dimodifikasi di S3 dengan semua kebijakan impor otomatis diaktifkan dan ekspor otomatis dinonaktifkan, konten objek itu selalu diimpor ke file yang sesuai dalam sistem file. Jika file sudah ada di lokasi target, file akan ditimpa.

• Jika file dimodifikasi di sistem file dan S3, dengan semua impor otomatis dan kebijakan ekspor otomatis diaktifkan, baik file dalam sistem file atau objek di S3 dapat ditimpa oleh yang lain. Tidak dijamin bahwa pengeditan nanti di satu lokasi akan menimpa suntingan sebelumnya di lokasi lain. Jika Anda memodifikasi file yang sama di sistem file dan bucket S3, Anda harus memastikan koordinasi tingkat aplikasi untuk mencegah konflik tersebut. FSx for Lustre tidak mencegah penulisan yang bertentangan di beberapa lokasi.

Kebijakan impor menentukan bagaimana Anda ingin FSx for Lustre memperbarui sistem file Anda saat konten berubah di bucket S3 yang ditautkan. Asosiasi repositori data dapat memiliki salah satu kebijakan impor berikut:

• Baru - FSx for Lustre secara otomatis memperbarui metadata file dan direktori hanya ketika objek baru ditambahkan ke repositori data S3 yang ditautkan.

• Berubah - FSx for Lustre secara otomatis memperbarui metadata file dan direktori hanya ketika objek yang ada di repositori data diubah.

• Dihapus - FSx for Lustre secara otomatis memperbarui metadata file dan direktori hanya ketika objek dalam repositori data dihapus.

• Kombinasi apa pun dari Baru, Diubah, dan Dihapus - FSx for Lustre secara otomatis memperbarui metadata file dan direktori ketika salah satu tindakan yang ditentukan terjadi di repositori data S3. Misalnya, Anda dapat menentukan bahwa sistem file diperbarui ketika objek ditambahkan ke (Baru) atau dihapus dari (Dihapus) repositori S3, tetapi tidak diperbarui ketika objek diubah.

• Tidak ada kebijakan yang dikonfigurasi - FSx for Lustre tidak memperbarui metadata file dan direktori pada sistem file saat objek ditambahkan, diubah, atau dihapus dari repositori data S3. Jika Anda tidak mengonfigurasi kebijakan impor, impor otomatis dinonaktifkan untuk asosiasi repositori data. Anda masih dapat mengimpor perubahan metadata secara manual dengan menggunakan tugas repositori data impor, seperti yang dijelaskan dalam. Menggunakan tugas repositori data untuk mengimpor perubahan

penting

Impor otomatis tidak akan menyinkronkan tindakan S3 berikut dengan sistem file FSx for Lustre yang ditautkan:

• Menghapus objek menggunakan kedaluwarsa siklus hidup objek S3

• Menghapus versi objek saat ini secara permanen dalam bucket berkemampuan versi

• Membatalkan penghapusan objek dalam bucket berkemampuan versi

Untuk sebagian besar kasus penggunaan, sebaiknya Anda mengonfigurasi kebijakan impor Baru, Diubah, dan Dihapus. Kebijakan ini memastikan bahwa semua pembaruan yang dibuat di repositori data S3 tertaut Anda secara otomatis diimpor ke sistem file Anda.

Saat Anda menetapkan kebijakan impor untuk memperbarui file sistem file dan metadata direktori berdasarkan perubahan dalam repositori data S3 tertaut, FSx for Lustre akan membuat konfigurasi notifikasi peristiwa pada bucket S3 yang ditautkan. Konfigurasi pemberitahuan acara diberi namaFSx. Jangan mengubah atau menghapus konfigurasi pemberitahuan FSx acara pada bucket S3 — hal itu akan mencegah impor otomatis file dan metadata direktori yang diperbarui ke sistem file Anda.

Ketika FSx for Lustre memperbarui daftar file yang telah berubah pada repositori data S3 tertaut, itu menimpa file lokal dengan versi yang diperbarui, bahkan jika file tersebut dikunci tulis.

FSx for Lustre melakukan upaya terbaik untuk memperbarui sistem file Anda. FSx for Lustre tidak dapat memperbarui sistem file dalam situasi berikut:

• Jika FSx for Lustre tidak memiliki izin untuk membuka objek S3 yang diubah atau baru. Dalam hal ini, FSx for Lustre melewatkan objek dan melanjutkan. Status siklus hidup DRA tidak terpengaruh.

• Jika FSx for Lustre tidak memiliki izin tingkat ember, seperti untuk. GetBucketAcl Ini akan menyebabkan status siklus hidup repositori data menjadi Salah konfigurasi. Untuk informasi selengkapnya, lihat Status siklus hidup asosiasi repositori data.

• Jika konfigurasi pemberitahuan acara FSx pada bucket S3 terkait dihapus atau diubah. Ini akan menyebabkan status siklus hidup repositori data menjadi Salah konfigurasi. Untuk informasi selengkapnya, lihat Status siklus hidup asosiasi repositori data.

Kami menyarankan Anda mengaktifkan CloudWatch log ke Log untuk mencatat informasi tentang file atau direktori apa pun yang tidak dapat diimpor secara otomatis. Peringatan dan kesalahan dalam log berisi informasi tentang alasan kegagalan. Untuk informasi selengkapnya, lihat Log peristiwa repositori data.

Prasyarat

Kondisi berikut diperlukan agar FSx for Lustre mengimpor file baru, diubah, atau dihapus secara otomatis dari bucket S3 yang ditautkan:

• Sistem file dan bucket S3 yang ditautkan terletak di tempat yang samaWilayah AWS.

• Bucket S3 tidak memiliki status Siklus Hidup yang salah dikonfigurasi. Untuk informasi selengkapnya, lihat Status siklus hidup asosiasi repositori data.

• Akun Anda memiliki izin yang diperlukan untuk mengkonfigurasi dan menerima pemberitahuan acara pada bucket S3 yang tertaut.

Jenis perubahan file yang didukung

FSx for Lustre mendukung pengimporan perubahan berikut ke file dan direktori yang terjadi di bucket S3 yang ditautkan:

• Perubahan pada isi file.

• Perubahan pada metadata file atau direktori.

• Perubahan pada target symlink atau metadata.

• Penghapusan file dan direktori. Jika Anda menghapus objek di bucket S3 tertaut yang sesuai dengan direktori dalam sistem file (yaitu, objek dengan nama kunci yang diakhiri dengan garis miring), FSx for Lustre menghapus direktori yang sesuai pada sistem file hanya jika kosong.

Memperbarui pengaturan impor

Anda dapat menyetel setelan impor sistem file untuk bucket S3 tertaut saat membuat asosiasi repositori data. Untuk informasi selengkapnya, lihat Membuat tautan ke bucket S3.

Anda juga dapat memperbarui pengaturan impor kapan saja, termasuk kebijakan impor. Untuk informasi selengkapnya, lihat Memperbarui pengaturan asosiasi repositori data.

Memantau impor otomatis

Jika laju perubahan dalam bucket S3 Anda melebihi laju impor otomatis dapat memproses perubahan ini, perubahan metadata terkait yang diimpor ke sistem file FSx for Lustre Anda akan tertunda. Jika ini terjadi, Anda dapat menggunakan AgeOfOldestQueuedMessage metrik untuk memantau usia perubahan tertua yang menunggu untuk diproses oleh impor otomatis. Untuk informasi lebih lanjut tentang metrik ini, lihatAutoImport dan AutoExport metrik.

Jika penundaan dalam mengimpor metadata berubah melebihi 14 hari (yang diukur menggunakan AgeOfOldestQueuedMessage metrik), perubahan dalam bucket S3 Anda yang belum diproses oleh impor otomatis tidak akan diimpor ke sistem file Anda. Selain itu, siklus hidup asosiasi repositori data Anda ditandai sebagai SALAH KONFIGURASI dan impor otomatis dihentikan. Jika Anda mengaktifkan ekspor otomatis, ekspor otomatis terus memantau sistem file FSx for Lustre Anda untuk perubahan. Namun, perubahan tambahan tidak disinkronkan dari sistem file FSx for Lustre Anda ke S3.

Untuk mengembalikan asosiasi repositori data Anda dari status siklus hidup SALAH KONFIGURASI ke status siklus hidup TERSEDIA, Anda harus memperbarui asosiasi repositori data Anda. Anda dapat memperbarui asosiasi repositori data Anda menggunakan perintah update-data-repository-associationCLI (atau operasi API yang sesuai UpdateDataRepositoryAssociation). Satu-satunya parameter permintaan yang Anda butuhkan adalah asosiasi repositori data yang ingin Anda perbarui. AssociationID

Setelah status siklus hidup asosiasi repositori data berubah menjadi TERSEDIA, impor otomatis (dan ekspor otomatis jika diaktifkan) dimulai ulang. Setelah memulai ulang, ekspor otomatis melanjutkan sinkronisasi perubahan sistem file ke S3. Untuk menyinkronkan metadata objek baru dan yang diubah di S3 dengan sistem file FSx for Lustre Anda yang tidak diimpor atau berasal dari saat asosiasi repositori data berada dalam status salah konfigurasi, jalankan tugas repositori data impor. Impor tugas repositori data tidak menyinkronkan penghapusan di bucket S3 Anda dengan sistem file FSx for Lustre Anda. Jika Anda ingin sepenuhnya menyinkronkan S3 dengan sistem file Anda (termasuk penghapusan), Anda harus membuat ulang sistem file Anda.

Untuk memastikan bahwa penundaan mengimpor perubahan metadata tidak melebihi 14 hari, sebaiknya Anda menyetel alarm pada AgeOfOldestQueuedMessage metrik dan mengurangi aktivitas di bucket S3 jika AgeOfOldestQueuedMessage metrik tumbuh melampaui ambang batas alarm Anda. Untuk sistem file FSx for Lustre yang terhubung ke bucket S3 dengan pecahan tunggal terus mengirimkan jumlah maksimum kemungkinan perubahan dari S3, dengan hanya impor otomatis yang berjalan pada sistem file FSx for Lustre, impor otomatis dapat memproses backlog 7 jam perubahan S3 dalam 14 hari.

Selain itu, dengan satu tindakan S3, Anda dapat menghasilkan lebih banyak perubahan daripada impor otomatis yang akan diproses dalam 14 hari. Contoh dari jenis tindakan ini termasuk, namun tidak terbatas pada, AWS Snowball upload ke S3 dan penghapusan skala besar. Jika Anda membuat perubahan skala besar pada bucket S3 yang ingin disinkronkan dengan sistem file FSx for Lustre, untuk mencegah perubahan impor otomatis melebihi 14 hari, Anda harus menghapus sistem file Anda dan membuatnya kembali setelah perubahan S3 selesai.

Jika AgeOfOldestQueuedMessage metrik Anda bertambah, tinjau bucketGetRequests,, PutRequestsPostRequests, dan DeleteRequests metrik S3 Anda untuk perubahan aktivitas yang akan menyebabkan peningkatan tarif dan/atau jumlah perubahan yang dikirim ke impor otomatis. Untuk informasi tentang metrik S3 yang tersedia, lihat Memantau Amazon S3 di Panduan Pengguna Amazon S3.

Untuk daftar semua metrik FSx for Lustre yang tersedia, lihat. Pemantauan CloudWatch dengan Amazon