Secara otomatis mengimpor pembaruan dari bucket S3

Anda dapat mengonfigurasi FSx Lustre untuk memperbarui metadata secara otomatis di sistem file saat objek ditambahkan, diubah, atau dihapus dari bucket S3 Anda. FSxuntuk Lustre membuat, memperbarui, atau menghapus daftar file dan direktori, sesuai dengan perubahan di S3. Jika objek yang diubah dalam bucket S3 tidak lagi berisi metadatanya, FSx Lustre mempertahankan nilai metadata file saat ini, termasuk izin saat ini.

catatan

Sistem file FSx for Lustre dan bucket S3 yang ditautkan harus berada di tempat yang sama Wilayah AWS untuk mengimpor pembaruan secara otomatis.

Anda dapat mengonfigurasi impor otomatis saat membuat asosiasi repositori data, dan Anda dapat memperbarui pengaturan impor otomatis kapan saja menggunakan konsol FSx manajemen, konsol AWS CLI, atau file. AWS API

catatan

Anda dapat mengonfigurasi impor otomatis dan ekspor otomatis pada asosiasi repositori data yang sama. Topik ini hanya menjelaskan fitur impor otomatis.

penting

• Jika objek dimodifikasi di S3 dengan semua kebijakan impor otomatis diaktifkan dan ekspor otomatis dinonaktifkan, konten objek itu selalu diimpor ke file yang sesuai dalam sistem file. Jika file sudah ada di lokasi target, file akan ditimpa.

• Jika file dimodifikasi di sistem file dan S3, dengan semua impor otomatis dan kebijakan ekspor otomatis diaktifkan, baik file dalam sistem file atau objek di S3 dapat ditimpa oleh yang lain. Tidak dijamin bahwa pengeditan nanti di satu lokasi akan menimpa suntingan sebelumnya di lokasi lain. Jika Anda memodifikasi file yang sama di sistem file dan bucket S3, Anda harus memastikan koordinasi tingkat aplikasi untuk mencegah konflik tersebut. FSxuntuk Lustre tidak mencegah penulisan yang bertentangan di beberapa lokasi.

Kebijakan impor menentukan bagaimana Anda ingin FSx agar Lustre memperbarui sistem file Anda saat konten berubah di bucket S3 yang ditautkan. Asosiasi repositori data dapat memiliki salah satu kebijakan impor berikut:

• Baru - FSx untuk Lustre secara otomatis memperbarui metadata file dan direktori hanya ketika objek baru ditambahkan ke repositori data S3 yang ditautkan.

• Berubah - FSx untuk Lustre secara otomatis memperbarui metadata file dan direktori hanya ketika objek yang ada di repositori data diubah.

• Dihapus - FSx untuk Lustre secara otomatis memperbarui metadata file dan direktori hanya ketika objek dalam repositori data dihapus.

• Kombinasi apa pun dari New, Changed, dan Deleted — FSx untuk Lustre secara otomatis memperbarui metadata file dan direktori ketika salah satu tindakan yang ditentukan terjadi di repositori data S3. Misalnya, Anda dapat menentukan bahwa sistem file diperbarui ketika objek ditambahkan ke (Baru) atau dihapus dari (Dihapus) repositori S3, tetapi tidak diperbarui ketika objek diubah.

• Tidak ada kebijakan yang dikonfigurasi — FSx untuk Lustre tidak memperbarui metadata file dan direktori pada sistem file saat objek ditambahkan, diubah, atau dihapus dari repositori data S3. Jika Anda tidak mengonfigurasi kebijakan impor, impor otomatis dinonaktifkan untuk asosiasi repositori data. Anda masih dapat mengimpor perubahan metadata secara manual dengan menggunakan tugas repositori data impor, seperti yang dijelaskan dalam. Menggunakan tugas repositori data untuk mengimpor perubahan

penting

Impor otomatis tidak akan menyinkronkan tindakan S3 berikut dengan sistem file Lustre yang FSx ditautkan:

• Menghapus objek menggunakan kedaluwarsa siklus hidup objek S3

• Menghapus versi objek saat ini secara permanen dalam bucket berkemampuan versi

• Membatalkan penghapusan objek dalam bucket berkemampuan versi

Untuk sebagian besar kasus penggunaan, sebaiknya Anda mengonfigurasi kebijakan impor Baru, Diubah, dan Dihapus. Kebijakan ini memastikan bahwa semua pembaruan yang dibuat di repositori data S3 tertaut Anda secara otomatis diimpor ke sistem file Anda.

Saat Anda menetapkan kebijakan impor untuk memperbarui file sistem file dan metadata direktori berdasarkan perubahan dalam repositori data S3 tertaut, FSx Lustre akan membuat konfigurasi notifikasi peristiwa pada bucket S3 yang ditautkan. Konfigurasi pemberitahuan acara diberi namaFSx. Jangan mengubah atau menghapus konfigurasi pemberitahuan FSx acara pada bucket S3 — hal itu akan mencegah impor otomatis file dan metadata direktori yang diperbarui ke sistem file Anda.

Ketika FSx untuk Lustre memperbarui daftar file yang telah berubah pada repositori data S3 tertaut, itu menimpa file lokal dengan versi yang diperbarui, bahkan jika file tersebut dikunci tulis.

FSxuntuk Lustre melakukan upaya terbaik untuk memperbarui sistem file Anda. FSxuntuk Lustre tidak dapat memperbarui sistem file dalam situasi berikut:

• Jika FSx untuk Lustre tidak memiliki izin untuk membuka objek S3 yang diubah atau baru. Dalam hal ini, FSx untuk Lustre melewatkan objek dan melanjutkan. Status DRA siklus hidup tidak terpengaruh.

• Jika FSx untuk Lustre tidak memiliki izin tingkat ember, seperti for. GetBucketAcl Ini akan menyebabkan status siklus hidup repositori data menjadi Salah konfigurasi. Untuk informasi selengkapnya, lihat Status siklus hidup asosiasi repositori data.

• Jika konfigurasi pemberitahuan acara FSx pada bucket S3 terkait dihapus atau diubah. Ini akan menyebabkan status siklus hidup repositori data menjadi Salah konfigurasi. Untuk informasi selengkapnya, lihat Status siklus hidup asosiasi repositori data.

Kami menyarankan Anda mengaktifkan CloudWatch log ke Log untuk mencatat informasi tentang file atau direktori apa pun yang tidak dapat diimpor secara otomatis. Peringatan dan kesalahan dalam log berisi informasi tentang alasan kegagalan. Untuk informasi selengkapnya, lihat Log peristiwa repositori data.

Prasyarat

Ketentuan berikut diperlukan agar FSx Lustre dapat secara otomatis mengimpor file baru, diubah, atau dihapus dari bucket S3 yang ditautkan:

• Sistem file dan bucket S3 yang ditautkan terletak di tempat yang sama Wilayah AWS.

• Bucket S3 tidak memiliki status Siklus Hidup yang salah dikonfigurasi. Untuk informasi selengkapnya, lihat Status siklus hidup asosiasi repositori data.

• Akun Anda memiliki izin yang diperlukan untuk mengkonfigurasi dan menerima pemberitahuan acara pada bucket S3 yang tertaut.

Jenis perubahan file yang didukung

FSxuntuk Lustre mendukung pengimporan perubahan berikut ke file dan direktori yang terjadi di bucket S3 yang ditautkan:

• Perubahan pada isi file.

• Perubahan pada metadata file atau direktori.

• Perubahan pada target symlink atau metadata.

• Penghapusan file dan direktori. Jika Anda menghapus objek di bucket S3 tertaut yang sesuai dengan direktori dalam sistem file (yaitu, objek dengan nama kunci yang diakhiri dengan garis miring), FSx untuk Lustre menghapus direktori yang sesuai pada sistem file hanya jika kosong.

Memperbarui pengaturan impor

Anda dapat menyetel setelan impor sistem file untuk bucket S3 tertaut saat membuat asosiasi repositori data. Untuk informasi selengkapnya, lihat Membuat tautan ke bucket S3.

Anda juga dapat memperbarui pengaturan impor kapan saja, termasuk kebijakan impor. Untuk informasi selengkapnya, lihat Memperbarui pengaturan asosiasi repositori data.

Memantau impor otomatis

Jika laju perubahan dalam bucket S3 Anda melebihi kecepatan impor otomatis dapat memproses perubahan ini, perubahan metadata terkait yang diimpor ke sistem file Lustre Anda FSx akan tertunda. Jika ini terjadi, Anda dapat menggunakan AgeOfOldestQueuedMessage metrik untuk memantau usia perubahan tertua yang menunggu untuk diproses oleh impor otomatis. Untuk informasi lebih lanjut tentang metrik ini, lihatAutoImport dan AutoExport metrik.

Jika penundaan dalam mengimpor metadata berubah melebihi 14 hari (yang diukur menggunakan AgeOfOldestQueuedMessage metrik), perubahan dalam bucket S3 Anda yang belum diproses oleh impor otomatis tidak akan diimpor ke sistem file Anda. Selain itu, siklus hidup asosiasi repositori data Anda ditandai sebagai MISCONFIGUREDdan impor otomatis dihentikan. Jika Anda mengaktifkan ekspor otomatis, ekspor otomatis terus memantau sistem file Lustre Anda FSx untuk perubahan. Namun, perubahan tambahan tidak disinkronkan dari sistem file Lustre Anda FSx ke S3.

Untuk mengembalikan asosiasi repositori data Anda dari status MISCONFIGUREDsiklus hidup ke status siklus hidup, Anda harus AVAILABLEmemperbarui asosiasi repositori data Anda. Anda dapat memperbarui asosiasi repositori data Anda menggunakan update-data-repository-associationCLIperintah (atau UpdateDataRepositoryAssociationAPIoperasi yang sesuai). Satu-satunya parameter permintaan yang Anda butuhkan adalah asosiasi repositori data yang ingin Anda perbarui. AssociationID

Setelah status siklus hidup asosiasi repositori data berubah menjadi AVAILABLE, impor otomatis (dan ekspor otomatis jika diaktifkan) dimulai ulang. Setelah memulai ulang, ekspor otomatis melanjutkan sinkronisasi perubahan sistem file ke S3. Untuk menyinkronkan metadata objek baru dan yang diubah di S3 dengan sistem file FSx for Lustre Anda yang tidak diimpor atau berasal dari saat asosiasi repositori data berada dalam status salah konfigurasi, jalankan tugas repositori data impor. Impor tugas repositori data tidak menyinkronkan penghapusan di bucket S3 Anda dengan sistem file for Lustre AndaFSx. Jika Anda ingin sepenuhnya menyinkronkan S3 dengan sistem file Anda (termasuk penghapusan), Anda harus membuat ulang sistem file Anda.

Untuk memastikan bahwa penundaan mengimpor perubahan metadata tidak melebihi 14 hari, sebaiknya Anda menyetel alarm pada AgeOfOldestQueuedMessage metrik dan mengurangi aktivitas di bucket S3 jika AgeOfOldestQueuedMessage metrik tumbuh melampaui ambang batas alarm Anda. Untuk sistem file FSx for Lustre yang terhubung ke bucket S3 dengan pecahan tunggal terus mengirimkan jumlah maksimum perubahan yang mungkin dari S3, dengan hanya impor otomatis yang berjalan pada sistem file FSx for Lustre, impor otomatis dapat memproses backlog 7 jam perubahan S3 dalam 14 hari.

Selain itu, dengan satu tindakan S3, Anda dapat menghasilkan lebih banyak perubahan daripada impor otomatis yang akan diproses dalam 14 hari. Contoh dari jenis tindakan ini termasuk, namun tidak terbatas pada, AWS Snowball upload ke S3 dan penghapusan skala besar. Jika Anda membuat perubahan skala besar pada bucket S3 yang ingin disinkronkan dengan sistem file Lustre FSx untuk Anda, untuk mencegah perubahan impor otomatis melebihi 14 hari, Anda harus menghapus sistem file Anda dan membuatnya kembali setelah perubahan S3 selesai.

Jika AgeOfOldestQueuedMessage metrik Anda bertambah, tinjau bucketGetRequests,, PutRequestsPostRequests, dan DeleteRequests metrik S3 Anda untuk perubahan aktivitas yang akan menyebabkan peningkatan tarif dan/atau jumlah perubahan yang dikirim ke impor otomatis. Untuk informasi tentang metrik S3 yang tersedia, lihat Memantau Amazon S3 di Panduan Pengguna Amazon S3.

Untuk daftar semua yang tersedia FSx untuk metrik Lustre, lihat. Pemantauan CloudWatch dengan Amazon