使用 Rclone 將資料從微軟 Azure Blob 儲存空間和 B2 雲端儲存空間移轉到 Amazon S3 - AWS Prescriptive Guidance

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 Rclone 將資料從微軟 Azure Blob 儲存空間和 B2 雲端儲存空間移轉到 Amazon S3

由蘇哈斯巴薩瓦拉 (AWS) 創建

R 類型 平台重建

來源:微軟 Azure 存儲容器和背光 B2 存儲桶

目標:Amazon S3 儲存貯體

建立者:AWS

:环境 PoC 或試驗

:Technologies 儲存與備份;移轉

工作負載:微軟

:AWS 服務:Amazon S3

Summary

此模式描述如何使用 Rclone 來將資料從 Microsoft Azure Blob 儲存或 B2 雲端儲存容器遷移到 Amazon Simple Storage Service (Amazon S3) 儲存貯體。Rclone 是用 Go 編寫的命令行程序,用於同步來自雲提供商的文件和目錄。 

先決條件和限制

先決條件

  • 作用中的 AWS 帳戶 

  • 具有 AWS Identity and Access Management (IAM) 使用者權限的現有 S3 儲存貯體

  • 儲存在 Azure Blob 或背光 B2 容器中的資料

產品版本

  • 雷克隆 v1.52.3

Architecture

來源堆疊

  • Azure 斑點或背光 B2 容器

目標堆疊

  • Amazon S3 儲存貯體

A專案項目

Tools

  • Amazon S3-高度可擴展的對象存儲服務。它可用於各種儲存解決方案,包括網站、行動應用程式、備份和資料湖。 

  • Rclone-用於管理雲端儲存檔案的命令列程式。

Epics

任務描述所需技能
選取目標 S3 儲存貯體。

登入 AWS 管理主控台並開啟 Amazon S3 主控台。針對要遷移的資料選擇目的地 S3 儲存貯體。如需詳細資訊,請參閱 < 相關資源 > 一節。

AWS 一般、開發人員
複製 S3 儲存貯體存取資訊。

開啟 IAM 主控台。複製和儲存 S3 儲存貯體的存取金鑰 ID、秘密存取金鑰和 AWS 區域。如需詳細資訊,請參閱 < 相關資源 > 一節。

AWS 一般、開發人員
將策略新增至 S3 儲存貯體。

開啟 Amazon S3 主控台並選擇您的儲存貯體。選擇「權限」,然後選擇「儲存貯體策略」。貼上原則 JSON 檔案,然後選擇「儲存」。請參閱 < 附件 > 一節的原則 JSON 檔案。

AWS 一般、開發人員
將政策附加至 IAM 使用者。

開啟 IAM 主控台並將此政策指派給使用者;如需詳細資訊,請參閱 < 相關資源 > 一節。資源項目必須包含兩個資源 Amazon Resource Name (ARN)。

AWS 一般、開發人員
準備來源儲存容器。

擷取要從中移轉資料之容器的帳戶名稱和存取金鑰。

AWS 一般、開發人員
任務描述所需技能
下載並安裝 Rclone。

下載並安裝 Rclone 命令列程式。如需安裝命令,請參閱 < 其他資訊 > 一節。

SSH, 開發人員
將 Rclone 設定為連接到您的來源容器。

運行「rclone 配置」命令; 它會打開一個交互式表單。按下「Enter」以保留默認選項,並輸入以下命令與源容器信息:類型 = 您的容器類型,帳戶 = 您的存儲帳戶名稱,鍵 = 您的密鑰。輸入「b2」或「azureblob」做為「類型」。

Rclone, 開發人員
設定 Rclone 以連線到 Amazon S3。

運行「rclone 配置」命令; 它會打開一個交互式表單。按「Enter」保留預設選項,然後輸入您的 S3 儲存貯體資訊,包括存取金鑰 ID、秘密存取金鑰、AWS 區域和存取控制清單 (ACL)。如需進一步的指示,請參閱 < 附件 > 一節中的 rclon.conf 檔案。

Rclone, 開發人員
驗證 Rclone 組態。

若要檢查 Rclone 是否設定正確,請確認主目錄中「.config/rclone/rclone.conf」的內容。如需進一步的指示,請參閱 < 附件 > 一節中的 rclon.conf 檔案。

Rclone, 開發人員
任務描述所需技能
確認來源容器連線能力。

在 Rclone 中,執行「rclone 清單遠端」來檢查 Azure Blob 或 B2 容器是否位於遠端清單中。檢查您是否可以存取 Azure Blob 或 B2 容器內的物件,方法是使用 < 附件 > 一節中可用的 verification.txt 檔案中的 Rclone 命令。

Rclone, 開發人員
從容器移轉資料。

執行 Rclone「複製」命令。如需指示,請參閱 < 附件 > 一節中的 migrate_data.txt 檔案。此命令會從來源容器將資料複製至目的地 S3 儲存貯體。重要:如果您執行「同步」而非「複製」,則來源容器中不存在的資料將會從目的地 S3 儲存貯體中刪除。

Rclone, 開發人員
同步您的容器。

初始複製完成後,請執行 Rclone「Sync」命令以進行中的移轉,以便只複製目的地 S3 儲存貯體中遺漏的新檔案。如需進一步的指示,請參閱 < 附件 > 一節中的 migrate_data.txt 檔案。

Rclone, 開發人員
確認資料已成功移轉。

若要檢查資料是否已成功複製到目的地 S3 儲存貯體,請執行 Rclone「lsd」和「ls」命令。如需詳細資訊,請參閱 < 附件 > 一節中的 verification.txt 檔案。

AWS 一般、開發人員、反複

其他資訊

使用這些指令碼來安裝 Rclone。對於 Linux、macOS 和 BSD 系統,請執行:

curl https://rclone.org/install.sh | sudo bash

對於測試版安裝,請執行:

curl https://rclone.org/install.sh | sudo bash -s beta

Attachments

attachment.zip