本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
SageMaker 使用 AWS 開發人員工具將 ML 建置、訓練和部署工作負載遷移到 Amazon
創建者:蘇格蘭·馬文 (AWS)
R 類型:重新平台 | 資源:M achine Learning | 目標:Amazon SageMaker |
創建者:AWS | 環境:PoC 或試點 | 技術:機器學習和人工智能 DevOps; 遷移 |
AWS 服務:Amazon SageMaker |
Summary
此模式提供指導,讓您遷移在 Unix 或 Linux 伺服器上執行的現場部署機器學習 (ML) 應用程式,以便使用 Amazon 在 AWS 上進行訓練和部署 SageMaker。此部署使用持續整合和持續部署 (CI/CD) 管線。遷移模式是使用 AWS CloudFormation 堆疊部署的。
先決條件和限制
先決條件
使用 AWS 登陸區域的有效 AWS
帳戶 在您的 Unix 或 Linux 伺服器上安裝和設定 AWS Command Line Interface (AWS CLI)
AWS CodeCommit 或亞馬遜簡單儲存服務 (Amazon S3) 中的 ML 原始程式碼儲存庫 GitHub
限制
一個 AWS 區域只能部署 300 個個別管道。
此模式適用於使用 Python 程式 train-and-deploy 碼的受監督機器學習工作負載。
產品版本
碼頭工人版本 19.03.5, 建立 633a0ea, 使用 Python 3.6 倍
架構
源, 技術, 堆棧
內部部署 Linux 計算執行個體,其中包含本機檔案系統或關聯式資料庫中的資料
來源架構
![](images/pattern-img/c64f5edb-aae2-4f70-b494-81870ffb3fbf/images/54268422-b9a2-4c6c-8e95-87f3a8fc2f15.png)
目標技術堆疊
使用 Amazon S3 CodePipeline 部署的 AWS 用於資料儲存,而 Amazon DynamoDB 則做為中繼資料存放區,用於追蹤或記錄管道執行
目標架構
![](images/pattern-img/c64f5edb-aae2-4f70-b494-81870ffb3fbf/images/c0fc6ba2-0267-432e-b038-cf2e30740211.png)
應用移轉架構
原生 Python 套件和 AWS CodeCommit 儲存庫 (以及 SQL 用戶端,適用於資料庫執行個體上的現場部署資料集)
![](images/pattern-img/c64f5edb-aae2-4f70-b494-81870ffb3fbf/images/bab5cfd8-858e-4b9f-b3b8-5a5a26fec9bb.png)
工具
Python
Git
AWS CLI — AWS CLI 會部署 AWS
CloudFormation 堆疊,並將資料移至 S3 儲存貯體。S3 存儲桶,反過來,導致目標。
史诗
任務 | 描述 | 所需技能 |
---|---|---|
驗證原始程式碼和資料集。 | 資料科學家 | |
識別目標建置、訓練和部署執行個體類型和大小。 | 資料工程師、資料科學家 | |
建立能力清單和容量需求。 | ||
識別網路需求。 | DBA, 系統管理員 | |
識別來源和目標應用程式的網路或主機存取安全性需求。 | 數據工程師,ML 工程師,系統管理員 | |
決定備份策略。 | ML 工程師,系統管理員 | |
決定可用性需求。 | ML 工程師,系統管理員 | |
識別應用程式移轉或轉換策略。 | 資料科學家、ML 工程師 |
任務 | 描述 | 所需技能 |
---|---|---|
建立 Virtual Private Cloud (VPC) | ML 工程師,系統管理員 | |
建立安全性群組。 | ML 工程師,系統管理員 | |
針對 ML 程式碼設定 Amazon S3 儲存貯體和 AWS CodeCommit 儲存庫分支。 | ML 工程師 |
任務 | 描述 | 所需技能 |
---|---|---|
使用原生 MySQL 工具或第三方工具,將訓練、驗證和測試資料集遷移到佈建的 S3 儲存貯體。 | 這是 AWS CloudFormation 堆疊部署所必需的。 | 數據工程師,ML 工程師 |
將 ML 訓練和託管程式碼 Package 為 Python 套件,然後推送至 AWS CodeCommit 或中佈建的儲存庫 GitHub。 | 您需要存放庫的分支名稱,才能部署 AWS CloudFormation 範本以進行移轉。 | 資料科學家、ML 工程師 |
任務 | 描述 | 所需技能 |
---|---|---|
遵循 ML 工作負載移轉策略。 | 應用程式擁有者、ML 工程 | |
部署 AWS CloudFormation 堆疊。 | 使用 AWS CLI 建立在此解決方案隨附的 YAML 範本中宣告的堆疊。 | 資料科學家、ML 工程師 |
任務 | 描述 | 所需技能 |
---|---|---|
將應用程式用戶端切換到新的基礎結構。 | 應用程式擁有者、資料科學家、ML 工程 |
任務 | 描述 | 所需技能 |
---|---|---|
關閉臨時 AWS 資源。 | 關閉 AWS CloudFormation 範本中的任何自訂資源 (例如,任何未使用的 AWS Lambda 函數)。 | 資料科學家、ML 工程師 |
審核並驗證專案文件。 | 應用程式擁有者、資料科 | |
使用運算子驗證結果和 ML 模型評估量度。 | 請確定模型效能符合應用程式使用者的期望,且與內部部署狀態相當。 | 應用程式擁有者、資料科 |
關閉專案並提供意見反應。 | 應用程式擁有者、ML 工程 |
相關資源
附件
若要存取與此文件相關聯的其他內容,請解壓縮下列檔案:attachment.zip