自動將更新匯出到 S3 儲存貯體 - FSx for Lustre

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

自動將更新匯出到 S3 儲存貯體

您可以將 FSx for Lustre 檔案系統設定為在檔案系統上新增、變更或刪除檔案時,自動更新連結 S3 儲存貯體的內容。FSx for Lustre 會在 S3 中建立、更新或刪除與檔案系統中的變更相對應的物件。

注意

Lustre 2.10 檔案系統或檔案系統的 FSx 無法使用自動匯出功能。Scratch 1

您可以匯出至與檔案系統相 AWS 區域 同或不同的資料儲存庫 AWS 區域。

您可以在建立資料儲存庫關聯時設定自動匯出,並隨時使用 FSx 管理主控台 AWS CLI、和 AWS API 更新自動匯出設定。

注意

您可以在相同的資料儲存庫關聯上設定自動匯出和自動匯入。本主題僅描述自動匯出功能。

重要
  • 如果在已啟用所有自動匯出政策且停用自動匯入的檔案系統中修改檔案,則該檔案的內容一律會匯出到 S3 中的對應物件。如果物件已存在於目標位置中,則會覆寫該物件。

  • 如果在檔案系統和 S3 中修改檔案,且啟用了所有自動匯入和自動匯出政策,則檔案系統中的檔案或 S3 中的物件都可能被另一個檔案覆寫。不保證稍後在某個位置進行的編輯會覆寫另一個位置的先前編輯內容。如果您在檔案系統和 S3 儲存貯體中修改相同的檔案,則應確保應用程式層級協調以防止此類衝突。FSx for Lustre 不會防止在多個位置發生衝突的寫入。

匯出政策會指定您希望 FSx for Lustre 在檔案系統中的內容變更時更新連結的 S3 儲存貯體的方式。資料儲存庫關聯可以具有下列其中一種自動匯出原則:

  • 新增 — 只有在檔案系統上建立新檔案、目錄或符號連結時,FSx for Lustre 才會自動更新 S3 資料儲存庫。

  • 已變更 — 只有當檔案系統中的現有檔案發生變更時,FSx for Lustre 才會自動更新 S3 資料儲存庫。對於檔案內容變更,檔案必須先關閉,才能傳播到 S3 儲存庫。作業完成時,會傳播中繼資料變更 (重新命名、擁有權、權限和時間戳記)。對於重新命名變更 (包括移動),會刪除現有 (預先重新命名) S3 物件,並使用新名稱建立新的 S3 物件。

  • 已刪除 — 只有在檔案系統中刪除檔案、目錄或符號連結時,FSx for Lustre 才會自動更新 S3 資料儲存庫。

  • 新增、已變更和已刪除的任何組合 — 當檔案系統中發生任何指定的動作時,FSx for Lustre 會自動更新 S3 資料儲存庫。例如,您可以指定當檔案新增至 (新增) 或從檔案系統移除 (已刪除) 檔案時更 S3 儲存庫,但在變更檔案時則不會更新 S3 儲存庫。

  • 未設定原則 — 當檔案系統新增、變更或刪除檔案系統時,FSx for Lustre 不會自動更新 S3 資料儲存庫。如果您未設定匯出原則,則會停用自動匯出。您仍然可以使用匯出資料存放庫工作手動匯出變更,如中所述使用資料儲存庫工作匯出變更

對於大多數使用案例,建議您設定 [新增]、[已變更] 和 [已刪除] 的匯出原則。此政策可確保在檔案系統上進行的所有更新都會自動匯出至連結的 S3 資料儲存庫。

建議您開啟記錄至記錄,以記 CloudWatch 錄無法自動匯出之任何檔案或目錄的相關資訊。記錄檔中的警告和錯誤包含失敗原因的相關資訊。如需詳細資訊,請參閱 資料儲存庫事件記錄

更新匯出設定

您可以在建立資料存放庫關聯時,將檔案系統的匯出設定設定設定設定設定為連結的 S3 儲存貯體。如需詳細資訊,請參閱 建立 S3 儲存貯體的連結

您也可以隨時更新匯出設定,包括匯出原則。如需詳細資訊,請參閱 更新資料儲存庫關聯設定

監控自動匯出

您可以使用發佈到 Amazon 的一組指標來監控啟用自動匯出的資料儲存庫關聯 CloudWatch。此AgeOfOldestQueuedMessage量度代表對尚未匯出至 S3 之檔案系統進行的最早更新時間。如果長時間大AgeOfOldestQueuedMessage於零,建議您暫時減少對檔案系統進行的變更數目 (尤其是目錄重新命名),直到訊息佇列減少為止。如需詳細資訊,請參閱 AutoImport 和 AutoExport 指標

重要

刪除已啟用自動匯出的資料儲存庫關聯或檔案系統時,應先確定其AgeOfOldestQueuedMessage為零,表示沒有尚未匯出的變更。如果AgeOfOldestQueuedMessage刪除資料儲存庫關聯或檔案系統時大於零,尚未匯出的變更將不會傳送到連結的 S3 儲存貯體。為了避免這種情況,請等待達AgeOfOldestQueuedMessage到零,然後再刪除數據存儲庫關聯或文件系統。