本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
最佳实践
本节概述了以下方面 AWS 的最佳实践 MLOps。
账户管理和分离
AWS 账户管理@@ 最佳实践建议您将每个用例的账户分为四个账户:实验、开发、测试和生产。拥有一个用于在整个组织中提供共享 MLOps 资源的治理帐户和一个用于提供集中数据访问的数据湖帐户,这也是一种最佳实践。这样做的基本原理是将开发、测试和生产环境完全分开,避免因多个用例和数据科学团队共享同一套账户而触及服务限制造成的延迟,并可以全面概述每个用例的成本。最后,最佳实践还包括将账户级数据分开,因为每个用例都有自己的账户集。
安全标准
为了满足安全要求,最佳实践是关闭公共互联网访问,并使用自定义密钥加密所有数据。然后,您可以使用 Service Catalog 在短短几分钟内将 SageMaker Amazon AI Studio 的安全实例部署到开发账户。您还可以通过在 AI Projects 中部署的模板使用 SageMaker AI,获得每个用例的 SageMaker 审计和模型监控功能。
用例功能
账户设置完成后,贵组织的数据科学家可以在 AI Studio 中 SageMaker 使用 SageMaker AI 项目申请新的用例模板。此过程部署了必要的基础架构,以便在开发账户中拥有 MLOps 能力(中央团队只需要最低限度的支持),例如 CI/CD 管道、单元测试、模型测试和模型监控。
然后,使用实验跟踪、模型可解释性、偏差检测和质量监控等 SageMaker AI 功能,开发每个用例(或在现有应用程序代码库中重构),使其在 SageMaker AI 架构中运行。 data/model 您可以使用 SageMaker AI Pipelin es 中的管道步骤将这些功能添加到每个用例管道中。
MLOps 成熟之旅
MLOps 成熟度之旅定义了在全公司范围内提供的必要 MLOps 功能,以确保 end-to-end模型工作流程到位。成熟历程包括四个阶段:
初始 - 在该阶段,您需要建立实验账户。您还可以在组织内获得一个新 AWS 帐户,在那里您可以试用 SageMaker Studio 和其他新 AWS 服务。
可重复 - 在该阶段,您将代码存储库和 ML 解决方案开发标准化。您还可以采用多账户实施方法,并标准化代码存储库,以便在扩展产品时支持模型治理和模型审计。最佳做法是采用可随时投入生产的模型开发方法,并采用由治理账户提供的标准解决方案。数据存储在一个数据湖账户中,用例在两个账户中开发。第一个账户用于数据科学探索期间的实验。在该账户中,数据科学家发现了解决业务问题的模型,并尝试了多种可能性。另一个账户用于开发,开发在确定最佳模型并且数据科学团队准备好在推理管道中工作后进行。
可靠 - 在该阶段,您将介绍测试、部署和多账户部署。您必须了解 MLOps 要求并引入自动测试。 实施 MLOps 最佳实践,确保模型既稳健又安全。在该阶段,引入两个新的用例账户:一个是测试账户,用于测试在模拟生产环境的环境中开发的模型;另一个是生产账户,用于在业务运营期间运行模型推理。最后,在多账户设置中使用自动模型测试、部署和监控,以确保您的模型符合您设定的高质量和高性能标准。
可扩展 - 在该阶段,您需要将多个 ML 解决方案模板化和生产化。在 end-to-end模型构建 MLOps 过程中,开始采用多个团队和机器学习用例。为了在该阶段实现可扩展性,您还可以通过更多数据科学家的贡献来增加模板库中的模板数量,为整个组织的更多团队缩短从想法到生产模型的价值实现时间,并随扩展进行迭代。
有关 MLOps 成熟度模型的更多信息,请参阅 Machine Learn AWS ing 博客上的 SageMaker Amazon AI 企业MLOps 基础路线图