Ekspor pembaruan ke bucket S3 Anda secara otomatis

Anda dapat mengonfigurasi sistem file Lustre untuk memperbarui konten bucket S3 yang ditautkan secara otomatis saat file ditambahkan, diubah, atau dihapus pada sistem file. FSx FSxuntuk Lustre membuat, memperbarui, atau menghapus objek di S3, sesuai dengan perubahan dalam sistem file.

catatan

Ekspor otomatis tidak tersedia FSx untuk sistem file Lustre 2.10 atau Scratch 1 sistem file.

Anda dapat mengekspor ke repositori data yang Wilayah AWS sama dengan sistem file atau yang berbeda. Wilayah AWS

Anda dapat mengonfigurasi ekspor otomatis saat Anda membuat asosiasi repositori data dan memperbarui pengaturan ekspor otomatis kapan saja menggunakan konsol FSx manajemen, konsol AWS CLI, dan file. AWS API

catatan

Anda dapat mengonfigurasi ekspor otomatis dan impor otomatis pada asosiasi repositori data yang sama. Topik ini hanya menjelaskan fitur ekspor otomatis.

penting

• Jika file dimodifikasi dalam sistem file dengan semua kebijakan ekspor otomatis diaktifkan dan impor otomatis dinonaktifkan, konten file itu selalu diekspor ke objek yang sesuai di S3. Jika objek sudah ada di lokasi target, objek akan ditimpa.

• Jika file dimodifikasi di sistem file dan S3, dengan semua impor otomatis dan kebijakan ekspor otomatis diaktifkan, baik file dalam sistem file atau objek di S3 dapat ditimpa oleh yang lain. Tidak dijamin bahwa pengeditan nanti di satu lokasi akan menimpa suntingan sebelumnya di lokasi lain. Jika Anda memodifikasi file yang sama di sistem file dan bucket S3, Anda harus memastikan koordinasi tingkat aplikasi untuk mencegah konflik tersebut. FSxuntuk Lustre tidak mencegah penulisan yang bertentangan di beberapa lokasi.

Kebijakan ekspor menentukan bagaimana Anda ingin FSx Lustre memperbarui bucket S3 tertaut saat konten berubah dalam sistem file. Asosiasi repositori data dapat memiliki salah satu kebijakan ekspor otomatis berikut:

• Baru — FSx untuk Lustre secara otomatis memperbarui repositori data S3 hanya ketika file, direktori, atau symlink baru dibuat pada sistem file.

• Berubah - FSx untuk Lustre secara otomatis memperbarui repositori data S3 hanya ketika file yang ada dalam sistem file diubah. Untuk perubahan konten file, file harus ditutup sebelum disebarkan ke repositori S3. Perubahan metadata (ganti nama, kepemilikan, izin, dan cap waktu) disebarkan saat operasi selesai. Untuk mengubah nama perubahan (termasuk pemindahan), objek S3 yang ada (telah diganti namanya) dihapus dan objek S3 baru dibuat dengan nama baru.

• Dihapus - FSx untuk Lustre secara otomatis memperbarui repositori data S3 hanya ketika file, direktori, atau symlink dihapus dalam sistem file.

• Kombinasi apa pun dari New, Changed, dan Deleted - FSx untuk Lustre secara otomatis memperbarui repositori data S3 ketika salah satu tindakan yang ditentukan terjadi dalam sistem file. Misalnya, Anda dapat menentukan bahwa repositori S3 diperbarui ketika file ditambahkan ke (Baru) atau dihapus dari (Dihapus) sistem file, tetapi tidak ketika file diubah.

• Tidak ada kebijakan yang dikonfigurasi — FSx untuk Lustre tidak secara otomatis memperbarui repositori data S3 ketika file ditambahkan ke, diubah, atau dihapus dari sistem file. Jika Anda tidak mengonfigurasi kebijakan ekspor, ekspor otomatis akan dinonaktifkan. Anda masih dapat mengekspor perubahan secara manual dengan menggunakan tugas repositori data ekspor, seperti yang dijelaskan dalam. Menggunakan tugas repositori data untuk mengekspor perubahan

Untuk sebagian besar kasus penggunaan, sebaiknya Anda mengonfigurasi kebijakan ekspor New, Changed, dan Deleted. Kebijakan ini memastikan bahwa semua pembaruan yang dilakukan pada sistem file Anda secara otomatis diekspor ke repositori data S3 tertaut Anda.

Kami menyarankan Anda mengaktifkan CloudWatch log ke Log untuk mencatat informasi tentang file atau direktori apa pun yang tidak dapat diekspor secara otomatis. Peringatan dan kesalahan dalam log berisi informasi tentang alasan kegagalan. Untuk informasi selengkapnya, lihat Log peristiwa repositori data.

Memperbarui pengaturan ekspor

Anda dapat menyetel setelan ekspor sistem file ke bucket S3 yang ditautkan saat membuat asosiasi repositori data. Untuk informasi selengkapnya, lihat Membuat tautan ke bucket S3.

Anda juga dapat memperbarui pengaturan ekspor kapan saja, termasuk kebijakan ekspor. Untuk informasi selengkapnya, lihat Memperbarui pengaturan asosiasi repositori data.

Memantau ekspor otomatis

Anda dapat memantau asosiasi repositori data yang diaktifkan ekspor otomatis menggunakan satu set metrik yang dipublikasikan ke Amazon. CloudWatch AgeOfOldestQueuedMessageMetrik mewakili usia pembaruan tertua yang dibuat untuk sistem file yang belum diekspor ke S3. Jika AgeOfOldestQueuedMessage lebih besar dari nol untuk jangka waktu yang lama, kami sarankan untuk sementara mengurangi jumlah perubahan (penggantian nama direktori khususnya) yang secara aktif sedang dibuat ke sistem file sampai antrian pesan telah berkurang. Untuk informasi selengkapnya, lihat AutoImport dan AutoExport metrik.

penting

Saat menghapus asosiasi repositori data atau sistem file dengan ekspor otomatis diaktifkan, Anda harus terlebih dahulu memastikan bahwa AgeOfOldestQueuedMessage itu nol, artinya tidak ada perubahan yang belum diekspor. Jika AgeOfOldestQueuedMessage lebih besar dari nol saat Anda menghapus asosiasi repositori data atau sistem file, perubahan yang belum diekspor tidak akan mencapai bucket S3 tertaut Anda. Untuk menghindari hal ini, tunggu AgeOfOldestQueuedMessage hingga mencapai nol sebelum menghapus asosiasi repositori data atau sistem file Anda.