Amazon SageMaker AI 如何处理训练输出 - 亚马逊 SageMaker AI

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon SageMaker AI 如何处理训练输出

由于您的算法在容器中运行,它会生成包含训练作业状态以及模型和输出构件的输出。您的算法应将此信息写入到以下文件中,这些文件位于容器的 /output 目录。Amazon SageMaker AI 按如下方式处理此目录中包含的信息:

  • /opt/ml/model – 您的算法应将所有最终模型构件写入到此目录。SageMaker AI 将此数据作为单个对象,使用 tar 压缩格式复制到您在 CreateTrainingJob 请求中指定的 S3 位置。如果在一个训练作业中有多个容器写入到此目录,则应确保没有 file/directory 名称冲突。SageMaker AI 将结果聚合到一个 TAR 文件中,并在训练作业结束时上传到 S3。

  • /opt/ml/output/data – 您的算法应将在最终模型之外要存储的构件写入到此目录。SageMaker AI 将此数据作为单个对象,使用 tar 压缩格式复制到您在 CreateTrainingJob 请求中指定的 S3 位置。如果在一个训练作业中有多个容器写入到此目录,则应确保没有 file/directory 名称冲突。SageMaker AI 将结果聚合到一个 TAR 文件中,并在训练作业结束时上传到 S3。

  • /opt/ml/output/failure – 如果训练失败,当所有算法输出(例如日志记录)完成后,您的算法应将关于失败的描述写入到此文件。在 DescribeTrainingJob 响应中,SageMaker AI 返回此文件中的前 1024 个字符作为 FailureReason

您可以指定 S3 通用存储桶或 S3 目录存储桶来存储训练输出。目录存储桶仅使用 Amazon S3 Express One Zone 存储类,该类专为需要稳定的毫秒级延迟的工作负载或注重性能的应用程序而设计。选择最适合您的应用程序和性能要求的桶类型。有关 S3 目录存储桶的更多信息,请参阅《Amazon Simple Storage Service 用户指南》中的目录存储桶

注意

您只能使用具有 Amazon S3 托管式密钥的服务器端加密(SSE-S3)对 S3 目录存储桶中的 SageMaker AI 输出数据进行加密。在目录存储桶中存储 SageMaker AI 输出数据时,目前不支持具有 AWS KMS 密钥的服务器端加密(SSE-KMS)。