本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
添加或删除模型
您可以将其他模型部署到多模型端点,并立即通过该端点调用这些模型。添加新模型时,您无需更新或关闭端点,因此可以避免为每个新模型创建和运行单独的端点的成本。对于和GPU支持的多模型端点,添加CPU和删除模型的过程是相同的。
SageMaker 当实例达到内存容量并且需要将更多模型下载到容器中时,将未使用的模型从容器中卸载。 SageMaker 当实例存储卷达到容量且需要下载新模型时,还会从实例存储卷中删除未使用的模型工件。首次调用新添加的模型需要较长时间,因为端点需要一定时间才能将模型从 S3 下载到托管端点的实例中的容器内存
如果端点已在运行,请将新的模型构件集复制到存储模型的 Amazon S3 位置。
# Add an AdditionalModel to the endpoint and exercise it aws s3 cp AdditionalModel.tar.gz s3://my-bucket/path/to/artifacts/
重要
请按照添加新模型的方式继续操作以便更新模型。使用新的唯一名称。不要覆盖 Amazon S3 中的模型构件,这是因为旧版模型仍可能加载到容器中或端点的实例存储卷上。然后,调用新模型可能会调用旧版模型。
在 S3 中存储其他目标模型后,客户端应用程序即可从这些模型请求预测。
response = runtime_sagemaker_client.invoke_endpoint( EndpointName=
'<ENDPOINT_NAME>'
, ContentType='text/csv', TargetModel='AdditionalModel.tar.gz', Body=body)
要从多模型端点删除模型,请停止从客户端调用该模型,并将其从存储模型构件的 S3 位置中删除。