JumpStart 通过使用 Amazon SageMaker Studio 部署模型

以下步骤向您展示了如何 JumpStart 使用 Amazon SageMaker Studio 部署模型。

先决条件

确认您已在 Amazon SageMaker HyperPod 集群上设置了推理功能。有关更多信息，请参阅 设置 HyperPod 集群以进行模型部署。

创建部 HyperPod 署

1. 在 Amazon SageMaker Studio 中，从左侧导航窗格中打开JumpStart登录页面。

2. 在所有公共模型下，选择要部署的模型。

   注意

   如果您选择了门控车型，则必须接受最终用户许可协议 (EULA)。

3. 选择 SageMaker HyperPod。

4. 在 “部署设置” 下， JumpStart将推荐一个实例进行部署。如有必要，您可以修改这些设置。

   1. 如果您修改实例类型，请确保它与所选HyperPod 集群兼容。如果没有任何兼容的实例，则需要选择一个新HyperPod 集群或联系管理员向集群添加兼容的实例。

   2. 要确定模型部署的优先级，请安装任务管理插件，创建计算分配，并为集群策略设置任务排名。完成此操作后，您应该会看到一个选项，用于为模型部署选择优先级，该优先级可用于抢占集群上的其他部署和任务。

   3. 输入管理员向您提供访问权限的命名空间。您可能需要直接联系您的管理员才能获得确切的命名空间。提供有效的命名空间后，应启用 D eploy 按钮来部署模型。

5. 选择部署并等待终端节点的创建。

6. 创建终端节点后，选择测试推理。

编辑部 HyperPod 署

1. 在 Amazon SageMaker Studio 中，选择计算，然后从左侧导航窗格中选择HyperPod集群。

2. 在部署下，选择要修改的 HyperPod 集群部署。

3. 从垂直省略号图标 (‹) 中，选择编辑。

4. 在 “部署设置” 下，您可以启用或禁用自动扩展，并更改最大副本数量。

5. 选择保存。

6. “状态” 将更改为 “正在更新”。更改回服务状态后，您的更改即已完成，您将看到一条确认消息。

删除部 HyperPod 署

1. 在 Amazon SageMaker Studio 中，选择计算，然后从左侧导航窗格中选择HyperPod集群。

2. 在部署下，选择要修改的 HyperPod 集群部署。

3. 从垂直省略号图标 (‹) 中，选择删除。

4. 在 “删除部 HyperPod 署” 窗口中，选中该复选框。

5. 选择删除。

6. “状态” 将更改为 “正在删除”。删除 HyperPod 部署后，您将看到一条确认消息。