使用 AWS 開發人員工具將 ML 建置、訓練和部署工作負載移轉到 Amazon SageMaker - AWS Prescriptive Guidance

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 AWS 開發人員工具將 ML 建置、訓練和部署工作負載移轉到 Amazon SageMaker

由斯考特馬文 (AWS) 建立

R 類型 平台重建

來源:Machine Learning

目標:Amazon SageMaker

建立者:AWS

:Enreronment ( PoC 或試驗

機器學習與人工智慧;DevOps;移轉

AWS 服務:Amazon SageMaker

Summary

此模式提供指導,以便移轉在 Unix 或 Linux 伺服器上執行的現場部署機器學習 (ML) 應用程式,以便使用 Amazon SageMaker 在 AWS 上進行訓練和部署。此部署會使用持續整合和持續部署 (CI/CD) 管道。遷移模式是使用 AWS CloudFormation 堆疊進行部署。

先決條件和限制

先決條件

  • 作用中的 AWS 帳戶AWS 登陸區域

  • AWS 命令列界面 (AWS CLI)在您的 Unix 或 Linux 伺服器上安裝並設定

  • 在 GitHub、AWS CodeCommit 或 Amazon Simple Storage Service (Amazon S3) 中的 ML 來源碼儲存器中的 ML 來源碼儲存器

限制

  • 一個 AWS 區域只能部署 300 個個別管線。

  • 此模式適用於具有 Python 中導入和部署代碼的監督 ML 工作負載。

產品版本

  • 碼頭版本 19.03.5,使用

Architecture

來源堆疊

  • 內部部署 Linux 計算執行個體,其中包含本機檔案系統或關聯式資料庫中的資料

來源架構

目標堆疊

  • 與 Amazon S3 一起部署的 AWS CodePipeline,用於資料儲存和 Amazon DynamoDB 做為中繼資料存放區,用於追蹤或記錄管線執行

目標架構

應用程式遷移架構

  • 原生 Python 套件和 AWS CodeCommit 存放庫 (以及 SQL 用戶端,用於資料庫執行個體上的現場部署資料集)

Tools

  • Python

  • Git 

  • AWS CLI —AWS CLI部署 AWS CloudFormation 堆疊並將資料移至 S3 儲存貯體。S3 桶,反過來,導致目標。

Epics

任務描述所需技能
驗證原始程式碼和資料集。資料科學家
識別目標組建、訓練和部署執行個體類型和大小。資料工程師, 資料科學家
建立權能清單和容量需求。

識別網路需求。DBA,系統管理員
識別來源和目標應用程式的網路或主機存取安全性需求。資料工程師、ML 工程師、系統管理員
決定備份策略。ML 工程師, 系統管理員
決定可用性需求。ML 工程師, 系統管理員
識別應用程式移轉或切換策略。資料科學家,ML 工程師
任務描述所需技能
建立虛擬私有雲端 (VPC)。ML 工程師, 系統管理員
建立安全群組。ML 工程師, 系統管理員
為 ML 代碼設置一個 Amazon S3 存儲桶和 AWS CodeCommit 存儲庫分支。ML 工程師
任務描述所需技能
使用原生 MySQL 工具或協力廠商工具,將訓練、驗證和測試資料集移轉至已佈建的 S3 儲存貯體。

這是 AWS CloudFormation 堆疊部署所需的。

數據工程師,ML 工程師
將 ML 訓練和裝載程式碼封裝為 Python 套件,並將其推送到 AWS CodeCommit 或 GitHub 中的佈建儲存庫。

您需要存放庫的分支名稱才能部署 AWS CloudFormation 範本以進行遷移。

資料科學家,ML 工程師
任務描述所需技能
遵循 ML 工作負載移轉策略。應用程式擁有者,ML 工程師
部署 AWS CloudFormation 堆疊。

使用 AWS CLI 建立在此解決方案提供的 YAML 範本中宣告的堆疊。

資料科學家,ML 工程師
任務描述所需技能
將應用程式用戶端切換至新的基礎結構。應用程式擁有者、資料科學家、ML 工程師
任務描述所需技能
關閉臨時 AWS 資源。

關閉 AWS CloudFormation 範本中的任何自訂資源 (例如,任何未使用的 AWS Lambda 函數)。

資料科學家,ML 工程師
複查並驗證專案文件。應用程式擁有者, 資料科學
使用運算子驗證結果和 ML 模型評估度量。

請確定模型效能符合應用程式使用者的預期,且與內部部署狀態相當。

應用程式擁有者, 資料科學
關閉專案並提供回饋。應用程式擁有者,ML 工程師

相關資源

Attachments

attachment.zip