將您的檔案系統連結至 Amazon S3 儲存貯體

焦點模式

將您的檔案系統連結至 Amazon S3 儲存貯體 - FSx for Lustre

您可以將 Amazon FSx for Lustre 檔案系統連結至 Amazon S3 中的資料儲存庫。您可以在建立檔案系統時或建立檔案系統之後隨時建立連結。

檔案系統上目錄與 S3 儲存貯體或字首之間的連結稱為資料儲存庫關聯 (DRA)。您可以在 FSx for Lustre 檔案系統上設定最多 8 個資料儲存庫關聯。最多可將 8 個 DRA 請求排入佇列，但檔案系統一次只能處理一個請求。每個 DRA 必須具有唯一的 FSx for Lustre 檔案系統目錄，以及與其相關聯的唯一 S3 儲存貯體或字首。

注意

FSx for Lustre 2.10 檔案系統或Scratch 1檔案系統不提供資料儲存庫關聯、自動匯出和對多個資料儲存庫的支援。

若要將 S3 資料儲存庫上的物件做為檔案和檔案系統上的目錄存取，必須將檔案和目錄中繼資料載入檔案系統。當您為稍後使用 FSx for Lustre 檔案系統，使用匯入資料儲存庫任務建立檔案和目錄批次的 DRA 或載入中繼資料時，您可以從連結的資料儲存庫載入中繼資料，或使用自動匯出，在新增、變更或刪除資料儲存庫中的物件時自動載入中繼資料。

您可以將 DRA 設定為僅自動匯入、僅自動匯出，或同時設定兩者。使用自動匯入和自動匯出設定的資料儲存庫關聯會在檔案系統和連結的 S3 儲存貯體之間雙向傳播資料。當您變更 S3 資料儲存庫中的資料時，FSx for Lustre 會偵測變更，然後自動將變更匯入檔案系統。當您建立、修改或刪除檔案時，FSx for Lustre 會在應用程式完成修改檔案後，以非同步方式自動將變更匯出至 Amazon S3。

重要

如果您在檔案系統和 S3 儲存貯體中修改相同的檔案，則應確保應用程式層級協調，以防止衝突。FSx for Lustre 不會防止多個位置中的寫入衝突。
對於標記不可變屬性的檔案，FSx for Lustre 無法同步 FSx for Lustre 檔案系統和連結至檔案系統的 S3 儲存貯體之間的變更。長時間設定不可變旗標可能會導致 Amazon FSx 和 S3 之間的資料移動效能降低。

建立資料儲存庫關聯時，您可以設定下列屬性：

檔案系統路徑 – 在檔案系統上輸入本機路徑，該路徑指向將與以下指定資料儲存庫路徑one-to-one映射的目錄（例如 /ns1/) 或子目錄（例如 /ns1/subdir/)。名稱需要以正斜線開頭。兩個資料儲存庫關聯的檔案系統路徑不可重疊。例如，如果某個資料儲存庫已經與檔案系統路徑 /ns1 建立關聯，則您無法將其他資料儲存庫連結到檔案系統路徑 /ns1/ns2。

注意
如果您僅指定一個正斜線 (/) 作為檔案系統路徑，則只能將一個資料儲存庫連結至檔案系統。您只能指定 "/" 作為與檔案系統關聯的第一個資料儲存庫的檔案系統路徑。
資料儲存庫路徑 – 在 S3 資料儲存庫中輸入路徑。路徑可以是 S3 儲存貯體或字首，格式為 s3://bucket-name/prefix/。此屬性指定 S3 資料儲存庫檔案中要從何處匯入或匯出。如果您未提供資料儲存庫路徑，FSx for Lustre 會將結尾的 "/" 附加至您的資料儲存庫路徑。例如，如果您提供的資料儲存庫路徑s3://amzn-s3-demo-bucket/my-prefix，FSx for Lustre 會將其解譯為 s3://amzn-s3-demo-bucket/my-prefix/。

兩個資料儲存庫關聯不能有重疊的資料儲存庫路徑。例如，如果具有路徑的資料儲存庫s3://amzn-s3-demo-bucket/my-prefix/連結至檔案系統，則無法建立另一個與資料儲存庫路徑的資料儲存庫關聯s3://amzn-s3-demo-bucket/my-prefix/my-sub-prefix。
從儲存庫匯入中繼資料 – 您可以在建立資料儲存庫關聯後立即選取此選項，從整個資料儲存庫匯入中繼資料。或者，您可以在建立資料儲存庫關聯之後，隨時執行匯入資料儲存庫任務，將連結資料儲存庫中所有或部分中繼資料載入檔案系統。
匯入設定 – 選擇匯入政策，指定將會自動從連結的 S3 儲存貯體匯入檔案系統的更新物件類型（任何新物件、變更物件和已刪除物件的組合）。當您從主控台新增資料儲存庫時，自動匯入（新增、變更、刪除）預設為開啟，但在使用 AWS CLI 或 Amazon FSx API 時預設為停用。
匯出設定 – 選擇匯出政策，指定將自動匯出至 S3 儲存貯體的已更新物件類型（新物件、變更物件和已刪除物件的任意組合）。當您從主控台新增資料儲存庫時，預設會開啟自動匯出（新增、變更、刪除），但在使用 AWS CLI 或 Amazon FSx API 時，預設會停用。