SageMaker 使用 AWS 開發人員工具將 ML 建置、訓練和部署工作負載遷移到 Amazon - AWS 方案指引
Summary先決條件和限制架構工具史诗相關資源附件

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

SageMaker 使用 AWS 開發人員工具將 ML 建置、訓練和部署工作負載遷移到 Amazon

創建者：蘇格蘭·馬文 (AWS)

R 類型：重新平台

資源：M achine Learning

目標：Amazon SageMaker

創建者：AWS

環境：PoC 或試點

技術：機器學習和人工智能 DevOps; 遷移

AWS 服務：Amazon SageMaker

Summary

此模式提供指導，讓您遷移在 Unix 或 Linux 伺服器上執行的現場部署機器學習 (ML) 應用程式，以便使用 Amazon 在 AWS 上進行訓練和部署 SageMaker。此部署使用持續整合和持續部署 (CI/CD) 管線。遷移模式是使用 AWS CloudFormation 堆疊部署的。

先決條件和限制

先決條件

限制

  • 一個 AWS 區域只能部署 300 個個別管道。

  • 此模式適用於使用 Python 程式 train-and-deploy 碼的受監督機器學習工作負載。

產品版本

  • 碼頭工人版本 19.03.5, 建立 633a0ea, 使用 Python 3.6 倍

架構

源, 技術, 堆棧

  • 內部部署 Linux 計算執行個體，其中包含本機檔案系統或關聯式資料庫中的資料

來源架構

目標技術堆疊

  • 使用 Amazon S3 CodePipeline 部署的 AWS 用於資料儲存，而 Amazon DynamoDB 則做為中繼資料存放區，用於追蹤或記錄管道執行

目標架構

應用移轉架構

  • 原生 Python 套件和 AWS CodeCommit 儲存庫 (以及 SQL 用戶端，適用於資料庫執行個體上的現場部署資料集)

工具

  • Python

  • Git 

  • AWS CLI — AWS CLI 會部署 AWS CloudFormation 堆疊，並將資料移至 S3 儲存貯體。S3 存儲桶，反過來，導致目標。

史诗

任務描述所需技能
驗證原始程式碼和資料集。資料科學家
識別目標建置、訓練和部署執行個體類型和大小。資料工程師、資料科學家
建立能力清單和容量需求。
識別網路需求。DBA, 系統管理員
識別來源和目標應用程式的網路或主機存取安全性需求。數據工程師，ML 工程師，系統管理員
決定備份策略。ML 工程師，系統管理員
決定可用性需求。ML 工程師，系統管理員
識別應用程式移轉或轉換策略。資料科學家、ML 工程師
任務描述所需技能
建立 Virtual Private Cloud (VPC)ML 工程師，系統管理員
建立安全性群組。ML 工程師，系統管理員
針對 ML 程式碼設定 Amazon S3 儲存貯體和 AWS CodeCommit 儲存庫分支。ML 工程師
任務描述所需技能
使用原生 MySQL 工具或第三方工具，將訓練、驗證和測試資料集遷移到佈建的 S3 儲存貯體。

這是 AWS CloudFormation 堆疊部署所必需的。

數據工程師，ML 工程師
將 ML 訓練和託管程式碼 Package 為 Python 套件，然後推送至 AWS CodeCommit 或中佈建的儲存庫 GitHub。

您需要存放庫的分支名稱，才能部署 AWS CloudFormation 範本以進行移轉。

資料科學家、ML 工程師
任務描述所需技能
遵循 ML 工作負載移轉策略。應用程式擁有者、ML 工程
部署 AWS CloudFormation 堆疊。

使用 AWS CLI 建立在此解決方案隨附的 YAML 範本中宣告的堆疊。

資料科學家、ML 工程師
任務描述所需技能
將應用程式用戶端切換到新的基礎結構。應用程式擁有者、資料科學家、ML 工程
任務描述所需技能
關閉臨時 AWS 資源。

關閉 AWS CloudFormation 範本中的任何自訂資源 (例如，任何未使用的 AWS Lambda 函數)。

資料科學家、ML 工程師
審核並驗證專案文件。應用程式擁有者、資料科
使用運算子驗證結果和 ML 模型評估量度。

請確定模型效能符合應用程式使用者的期望，且與內部部署狀態相當。

應用程式擁有者、資料科
關閉專案並提供意見反應。應用程式擁有者、ML 工程

相關資源

附件

若要存取與此文件相關聯的其他內容，請解壓縮下列檔案：attachment.zip