使用 Snowball 邊緣裝置從 Amazon S3 匯出資料的任務 - AWS Snowball Edge 開發者指南

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 Snowball 邊緣裝置從 Amazon S3 匯出資料的任務

注意

NOT目前支援標籤和中繼資料,換句話說,從 S3 儲存貯體匯出物件時,會移除所有標籤和中繼資料。

匯出任務的資料來源是一或多個 Amazon S3 儲存貯體。將任務零件的資料從 Amazon S3 移至 AWS Snowball Edge 裝置後,您可以下載任務報告。此報告會警示您任何造成傳輸至裝置作業失敗的物件。您可以在任務的成功和失敗日誌中找到詳細資訊。

您可以為每個匯出工作匯出任意數量的物件,使用完成傳輸所需的裝置數量不限。匯出任務工作零件的每個 AWS Snowball Edge 裝置都會一個接一個地交付,而後續裝置則會在前一個工作部分進入「傳輸中 AWS」狀態後寄送給您。

當您使用 Amazon S3 介面卡或NFS掛載點從裝置將物件複製到現場部署資料目的地時,這些物件會另存為檔案。如果將物件複製到已保留檔案的位置,則任何同名的現有檔案會遭到覆寫。匯出任務類型也能執行本機儲存和運算功能。此功能使用檔案界面或 Amazon S3 適配器讀取和寫入資料,並根據在 AWS Snowball Edge 裝置上本機執行的 Amazon S3 PUT 物件API動作觸發 Lambda 函數。

當 AWS 收到退回的設備時,我們會完全清除它,遵循 NIST 800-88 標準。

重要

您要匯出到 Snow 裝置的資料必須位於 Amazon S3 中。您打算匯出至 Snow 裝置的任何資料都必須解凍或移至 S3 儲存類別,才能匯出。 Amazon S3 Glacier 請在建立 Snow 匯出工作之前執行此操作。

在確認整個任務的所有內容都已複製到現場部署資料目的地之前,請勿變更、更新或刪除匯出的 Amazon S3 物件。

建立匯出任務時,您可以匯出整個 Amazon S3 儲存貯體或特定範圍的物件金鑰。

將資料匯出到 Snowball 邊緣裝置時使用 Amazon S3 物件金鑰

AWS Snow 系列管理主控台或使用任務管理建立匯出任務時API,可以匯出整個 Amazon S3 儲存貯體或特定範圍的物件金鑰。物件金鑰名稱專門識別儲存貯體中的物件。如果匯出的是範圍,則您可以定義範圍的長度,方法為提供包含範圍的開頭、範圍的結尾或兩者。

範圍是 UTF -8 二進制排序。UTF-8 二進制數據按以下方式排序:

  • 數字 0—9 在大寫和小寫英文字符之前。

  • 大寫英文字元出現在所有小寫英文字元之前。

  • 針對大寫英文字元和數字排序時,小寫英文字元最後出現。

  • 特殊字元是在其他字元集之間排序。

有關 UTF -8 的細節的更多信息,請參閱維基百科上的 UTF -8

將資料匯出至 Snowball 邊緣裝置時使用 Amazon S3 物件金鑰的範例

假設您有一個包含以下對象和前綴的存儲桶,按 UTF -8 二進制順序排序:

  • 01

  • Aardvark

  • Aardwolf

  • Aasvogel/apple

  • 支持/箭頭/對象 1

  • 支持/箭頭/對象 2

  • Aasvogel/banana

  • 支持/銀行家/對象 1

  • 支持/銀行家/對象 2

  • Aasvogel/cherry

  • Banana

  • Car

指定範圍開始 指定範圍結束 要匯出的範圍內的物件
(無) (無) 儲存貯體中的所有物件
(無) Aasvogel

01

Aardvark

Aardwolf

Aasvogel/apple

支持/箭頭/對象 1

支持/箭頭/對象 2

Aasvogel/banana

支持/銀行家/對象 1

支持/銀行家/對象 2

Aasvogel/cherry

(無) Aasvogel/banana

01

Aardvark

Aardwolf

Aasvogel/apple

支持/箭頭/對象 1

支持/箭頭/對象 2

Aasvogel/banana

Aasvogel (無)

Aasvogel/apple

支持/箭頭/對象 1

支持/箭頭/對象 2

Aasvogel/banana

支持/銀行家/對象 1

支持/銀行家/對象 2

Aasvogel/cherry

Banana

Car

Aardwolf (無)

Aardwolf

Aasvogel/apple

支持/箭頭/對象 1

支持/箭頭/對象 2

Aasvogel/banana

支持/銀行家/對象 1

支持/銀行家/對象 2

Aasvogel/cherry

Banana

Car

Aar (無)

Aardvark

Aardwolf

Aasvogel/apple

支持/箭頭/對象 1

支持/箭頭/對象 2

Aasvogel/banana

支持/銀行家/對象 1

支持/銀行家/對象 2

Aasvogel/cherry

Banana

Car

car (無)

不會匯出任何物件,而且您在嘗試建立任務時會得到錯誤訊息。請注意,CAR 根據 UTF -8 個二進制值排序在 Car 下面。

Aar Aarrr

Aardvark

Aardwolf

向量/箭頭

阿斯沃格/阿罗克斯

支持/箭頭/對象 1

支持/箭頭/對象 2

Aasvogel/apple Aasvogel/banana

Aasvogel/apple

支持/箭頭/對象 1

支持/箭頭/對象 2

Aasvogel/banana

Aasvogel/apple 阿斯沃格/銀行家

Aasvogel/apple

支持/箭頭/對象 1

支持/箭頭/對象 2

Aasvogel/banana

支持/銀行家/對象 1

支持/銀行家/對象 2

Aasvogel/apple Aasvogel/cherry

Aasvogel/apple

支持/箭頭/對象 1

支持/箭頭/對象 2

Aasvogel/banana

支持/銀行家/對象 1

支持/銀行家/對象 2

Aasvogel/cherry

假設你有這三個存儲桶,並希望從文件夾 2 複製所有對象。

  • s3://bucket/folder1/

  • s3://bucket/folder2/

  • s3://bucket/folder3/

指定範圍開始 指定範圍結束 要匯出的範圍內的物件
資料夾 2/ 資料夾 2/ 值區資料夾 2 中的所有物件。

將資料從 Amazon S3 匯出到 Snowball 邊緣裝置的任務的最佳實務

  • 在訂購任務之前,確保資料位於 Amazon S3 中,並在批次處理小檔案

  • 如果值區中有數百萬個物件,請確定在匯出工作定義中指定索引鍵範圍

  • 更新物件索引鍵以移除名稱中的斜線,因為名稱中含有尾端斜線的物件 (/或\) 不會傳輸至 Snowball Edge

  • 對於 S3 儲存貯體,物件長度限制為 255 個字元。

  • 對於啟用版本的 S3 儲存貯體,只會匯出目前版本的物件。

  • 刪除標記不會匯出。