大型資料遷移 AWS Snow Family devices - AWS Snowball Edge 開發者指南

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

大型資料遷移 AWS Snow Family devices

從內部部署位置遷移大型資料需要仔細規劃、協調和執行,以確保資料已成功移轉至 AWS。

我們建議您在開始移轉之前制定資料移轉策略,以避免可能因為錯過期限而超過預算和遷移失敗。 AWS Snow 服務可協助您透過中的 Snow Family 大型資料移轉管理員 (LDMM) 功能來放置、訂購和追蹤您的大型資料移轉專案 AWS Snow 系列管理主控台。

主題,使用 Snow 系列裝置規劃您的大型轉移使用 Snow 系列裝置校準大型傳輸說明手動資料移轉程序。您可以使用 Snow 系列LDMM移轉計劃簡化手動步驟。

使用 Snow 系列裝置規劃您的大型轉移

我們建議您依照下列各節中的準則,規劃和校準現場 AWS Snowball Edge 裝置與伺服器之間的大型資料傳輸。

步驟 1:瞭解您要移至雲端的內容

使用建立第一個工作之前 AWS Snow 系列管理主控台,請確定您已評估需要傳輸的資料量、目前儲存的位置以及要傳輸資料的目的地。對於規模為 PB 或更大的資料傳輸,當您的 Snow Family 裝置送達時,此系統管理功能可讓您輕鬆得多。

如果您是第一次將 AWS 雲端 資料移轉到,建議您設計雲端移轉模型。雲端遷移不會在一夜之間進行。它需要一個仔細的規劃過程,以確保所有系統按預期工作。

當完成此步驟,您應知道將移至雲端的資料總量。

步驟 2:計算目標傳輸速率

估計您可以將資料傳輸到連接到每個伺服器的 Snow Family 裝置的速度是非常重要的。這個以 MB/ 秒為單位的估計速度決定了您可以使用區域網路基礎結構將資料從資料來源傳輸到 Snowball Edge 裝置的速度。

注意

對於大型資料傳輸,我們建議使用 Amazon S3 資料傳輸方法。當您在中訂購裝置時,您必須選取此選項 AWS Snow 系列管理主控台。

若要判斷基準傳輸速率,請將一小部分的資料傳輸至 Snowball Edge 裝置,或傳輸 10 GB 的範例檔案並觀察輸送量。

決定目標傳輸速度時,請記住,您可以透過變更網路速度、傳輸的檔案大小以及從本機伺服器讀取資料的速度來調整環境 (包括網路組態) 來改善輸送量。Amazon S3 適配器會在您的條件允許的情況下,盡快將資料複製到 Snow 系列裝置。

步驟 3:確定您需要多少 Snow 系列裝置

使用您計劃移入雲端的資料總量、估計的傳輸速度,以及您要允許將資料移入的天數 AWS,決定大規模資料移轉所需的 Snow Family 裝置數量。視裝置類型而定,Snowball 邊緣裝置大約有 39.5 TB、80 TB 或 210 TB 的可用儲存空間。例如,如果您想要將 300 TB 的資料移至 AWS 超過 10 天,而且您的傳輸速度為每秒 250 MB,則需要 4 個 Snowball 邊緣裝置。由於剩餘的資料需要傳輸少於 40 TB,建議使用 AWS Snowcone 裝置 (具有 14TB 的可用空間)。

注意

提 AWS Snow Family devices LDMM供精靈來估算可同時支援 AWS Snow Family devices 的數目。如需詳細資訊,請參閱 使用 Snow 系列裝置建立大型資料移轉計劃

步驟 4:建立工作

當您知道需要多少 Snow Family 裝置之後,您需要為每個裝置建立匯入任務。雪家族簡化了多個工作的創建LDMM。如需詳細資訊,請參閱 下一個工單

注意

您可以下一個工單,並直接從「建議的工作排序」中自動將其新增至您的計劃。如需詳細資訊,請參閱 建議的工作排序排程

步驟 5:將資料分成傳輸區段

對於涉及多個工作的大型資料傳輸,我們建議您以邏輯方式將資料分割成數個較小、更易於管理的資料集,這是最佳實務。這可讓您一次傳輸每個分割區,或 parallel 傳輸多個分割區。規劃分割區時,請確定分割區的資料合併在 Snow Family 裝置上以進行工作。例如,您可以使用下列任何一種方式將轉移作業分割為分割區:

  • 您可以為 Snowball 邊緣建立 10 個分割區,每個分割區各有 8 TB。

  • 對於大型檔案,每個檔案可以是 Amazon S3 中物件的個別分割區,最多可達 5 TB 的大小限制。

  • 每個分割區可以是不同的大小,而且每個分割區可以由相同種類的資料組成,例如,一個分割區中的小檔案、另一個分割區中的壓縮檔案、另一個分割區中的大型檔案等等。這種方法可以幫助您確定不同類型文件的平均傳輸速率。

注意

系統會針對每個傳輸的檔案執行中繼資料作業。無論檔案的大小,此額外負荷保持不變。因此,您可以透過將小型檔案壓縮成較大的套件、批次處理檔案或傳輸較大的個別檔案,以獲得更快的效能。

建立資料傳輸區段可讓您更輕鬆地快速解決傳輸問題,因為在傳輸執行一天或更長時間之後,嘗試對大型異質傳輸進行疑難排解可能很複雜。

規劃完 PB 級資料傳輸後,我們建議您從伺服器將幾個區段轉移到 Snow Family 裝置上,以校準您的速度和總傳輸時間。