將您的檔案系統連結到 Amazon S3 儲存貯體 - FSx為了光澤

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

將您的檔案系統連結到 Amazon S3 儲存貯體

您可以將亞馬遜FSx的 Lustre 檔案系統連結到 Amazon S3 中的資料儲存庫。您可以在建立檔案系統時或在建立檔案系統之後隨時建立連結。

檔案系統上的目錄與 S3 儲存貯體或前置詞之間的連結稱為資料儲存庫關聯 (DRA)。您最多可以在 Lustre 檔案系統上配置 8 個FSx資料儲存庫關聯。最多可排入 8 個要DRA求佇列,但檔案系統一次只能處理一個要求。每個檔案系統目錄都DRA必須有唯一FSx的 Lustre 檔案系統目錄,以及與之相關聯的唯一 S3 儲存貯體或前置詞。

注意

Lustre 2.10 檔案系統或Scratch 1檔案系統不提供資料儲存庫關聯、自動匯出以及FSx對多個資料儲存庫的支援。

若要以檔案系統上的檔案和目錄形式存取 S3 資料儲存庫上的物件,必須將檔案和目錄中繼資料載入檔案系統。當您在稍後使用匯入資料儲存庫工作建立DRA或載入要使用 Lustre 檔案系統存取的批次檔案和目錄中繼資料時,您可以從連結的資料儲存庫載入中繼資料,或使用自動匯出來在資料儲存庫中加入、變更或從資料儲存庫中刪除物件時自動載入中繼資料。FSx

您可以DRA為僅自動匯入、僅限自動匯出或兩者配置。使用自動匯入和自動匯出設定的資料存放庫關聯會在檔案系統和連結的 S3 儲存貯體之間雙向傳播資料。當您變更 S3 資料儲存庫中的資料時,FSxLustre 會偵測變更,然後自動將變更匯入您的檔案系統。當您建立、修改或刪除檔案時,FSxLustre 會在應用程式完成修改檔案後,自動將變更以非同步方式匯出至 Amazon S3。

重要
  • 如果您在檔案系統和 S3 儲存貯體中修改相同的檔案,則應確保應用程式層級協調以防止衝突。FSx因為 Lustre 不會防止在多個位置發生衝突的寫入。

  • 對於標有不可變屬性的檔案,因FSx為 Lustre 無法同步您的 FSx for Lustre 檔案系統與連結至檔案系統的 S3 儲存貯體之間的變更。長時間設定不可變旗標可能會導致 Amazon FSx 和 S3 之間的資料移動效能降低。

當您建立資料儲存庫關聯時,您可以設定下列屬性:

  • 檔案系統路徑 — 輸入檔案系統上的本機路徑,該路徑指向將 one-to-one 與以下指定資料存放庫路徑對映的目錄 (例如 /ns1//ns1/subdir/) 或子目錄 (例如)。名稱需要以正斜線開頭。兩個資料儲存庫關聯的檔案系統路徑不可重疊。例如,如果某個資料儲存庫已經與檔案系統路徑 /ns1 建立關聯,則您無法將其他資料儲存庫連結到檔案系統路徑 /ns1/ns2

    注意

    如果您僅指定一個正斜線 (/) 作為檔案系統路徑,則只能將一個資料儲存庫連結至檔案系統。您只能指定 "/" 作為與檔案系統關聯的第一個資料儲存庫的檔案系統路徑。

  • 資料存放庫路徑 — 在 S3 資料儲存庫中輸入路徑。路徑可以是 S3 儲存貯體或字首,格式為 s3://myBucket/myPrefix/。此內容指定 S3 資料儲存庫檔案將從哪裡匯入或匯出到哪裡。FSxfor Lustre 會在您的數據存儲庫路徑中附加一個尾隨的「/」,如果您不提供。例如,如果您提供的資料儲存庫路徑s3://myBucket/myPrefix,FSxLustre 會將其解譯為。s3://myBucket/myPrefix/

    兩個資料儲存庫關聯不能有重疊的資料儲存庫路徑。例如,如果具有路徑s3://myBucket/myPrefix/的資料儲存庫連結至檔案系統,則您無法建立與資料儲存庫路徑的其他資料儲存庫關聯s3://myBucket/myPrefix/mySubPrefix

  • 從儲存庫匯入描述資料 — 您可以選取此選項,在建立資料存放庫關聯之後立即從整個資料儲存庫匯入中繼資料。或者,您也可以在建立資料儲存庫關聯後,隨時執行匯入資料儲存庫工作,將所有或一部分中繼資料從連結的資料儲存庫載入檔案系統。

  • 匯入設定 — 選擇匯入政策,以指定將從連結的 S3 儲存貯體自動匯入到檔案系統的更新物件類型 (新的、已變更和已刪除的任何組合)。當您從主控台新增資料存放庫時,依預設會開啟自動匯入 (新的、已變更、刪除),但使用 AWS CLI 或 Amazon 時預設為停用FSxAPI。

  • 匯出設定 — 選擇匯出政策,以指定將自動匯出至 S3 儲存貯體的更新物件類型 (新的、已變更和已刪除的任何組合)。當您從主控台新增資料存放庫時,依預設會開啟自動匯出 (新的、已變更、刪除),但使用 AWS CLI 或 Amazon 時預設為停用FSxAPI。

檔案系統路徑資料存放庫路徑設定可在 Amazon 中的路徑FSx和 S3 中的物件金鑰之間提供 1:1 對應。