示例和更多信息:使用自己的算法或模型 - Amazon SageMaker

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

示例和更多信息:使用自己的算法或模型

以下 Jupyter 笔记本和新增信息展示了如何使用您自己的算法或来自 Ama SageMaker zon 笔记本实例的预训练模型。有关包含预建的 Dockerfiles、 TensorFlow mxNet、Chainer 和 PyTorch框架的 GitHub存储库的链接,以及使用 AWS SDK for Python (Boto3) 估算器在 Le SageMaker arner 上运行自己的训练算法和在托管时使用自己的模型的说明,请参阅 SageMaker 用于深度学习的预构建 SageMaker Docker 镜像

设置

  1. 创建 SageMaker 笔记本实例。有关如何创建和访问 Jupyter 笔记本实例的说明,请参阅 Amazon SageMaker 笔记本实例

  2. 打开您创建的笔记本实例。

  3. 选择 “SageMaker 示例” 选项卡,查看所有 SageMaker示例笔记本的列表。

  4. 从笔记本实例的 “高级功能” 部分或 GitHub 使用提供的链接打开示例笔记本。要打开笔记本,请选择其 Use (使用) 选项卡,然后选择 Create copy (创建副本)

托管在 Scikit-Learn 中训练的模型

要了解如何托管在 Scikit-Learn 中训练的模型,以便 SageMaker 通过将模型注入第一方 k 均值和 XGBoost 容器中来进行预测,请参阅以下示例笔记本。

Package TensorFlow 和 Scikit-Learn 模型用于 SageMaker

要了解如何打包你在中开发的算法 TensorFlow 以及 scikit-learn 框架,以便在 SageMaker 环境中进行训练和部署,请参阅以下笔记本。这些笔记本向您展示了如何使用 Dockerfile 构建、注册和部署您自己的 Docker 容器。

在上训练和部署神经网络 SageMaker

要了解如何使用 MxNet 或在本地训练神经网络 TensorFlow,然后根据训练过的模型创建端点并将其部署到其上 SageMaker,请参阅以下笔记本。MXNet 模型经过训练,可以识别 MNIST 数据集中的手写数字。该 TensorFlow 模型经过训练,可以对虹膜进行分类。

使用管道模式进行训练

要了解如何使用 Dockerfile 构建调用 train.py script 的容器并使用管道模式自定义算法的训练,请参阅以下笔记本。在管道模式下,输入数据在训练时传输到算法。与使用文件模式相比,这可以减少训练时间。

自带 R 模型

要了解如何添加自定义 R 映像以在 AWS SMS 笔记本中构建和训练模型,请参阅以下博客文章。这篇博文使用了 SageMakerStudio Classic 自定义图像样本库中的示例 R Dockerfile。

扩展预先构建的 PyTorch 容器镜像

要了解当您的算法或模型有其他功能要求且预构建的 Docker 镜像不支持时,如何扩展预构建的 SageMaker PyTorch 容器镜像,请参阅以下笔记本。

有关扩展容器的更多信息,请参阅扩展预构建容器

在自定义容器上训练和调试训练作业

要了解如何使用 Debu SageMaker gger 训练和调试训练作业,请参阅以下笔记本。通过此示例提供的训练脚本使用 TensorFlow Keras ResNet 50 模型和 CIFAR10 数据集。Docker 自定义容器使用训练脚本构建并推送至 Amazon ECR。在训练作业运行期间,Debugger 会收集张量输出并识别调试问题。使用 smdebug 客户端库工具,您可以设置 smdebug 试用对象,该对象调用训练作业和调试信息,检查训练和 Debugger 规则状态,并检索 Amazon S3 存储桶中保存的张量以分析训练问题。