使用 Amazon SageMaker Studio 從 JumpStart 部署模型

下列步驟說明如何使用 Amazon SageMaker Studio 從 JumpStart 部署模型。

先決條件

確認您已在 Amazon SageMaker HyperPod 叢集上設定推論功能。如需詳細資訊，請參閱設定 HyperPod 叢集以進行模型部署。

建立 HyperPod 部署

1. 在 Amazon SageMaker Studio 中，從左側導覽窗格開啟 JumpStart 登陸頁面。

2. 在所有公有模型下，選擇您要部署的模型。

   注意

   如果您已選取門控模型，則必須接受最終使用者授權合約 (EULA)。

3. 選擇 SageMaker HyperPod。

4. 在部署設定下，JumpStart 會建議部署執行個體。您可以視需要修改這些設定。

   1. 如果您修改執行個體類型，請確定它與所選的 HyperPod 叢集相容。如果沒有任何相容的執行個體，您將需要選取新的 HyperPod 叢集，或聯絡您的管理員，將相容的執行個體新增至叢集。

   2. 若要排定模型部署的優先順序，請安裝任務控管附加元件、建立運算配置，以及設定叢集政策的任務排名。完成後，您應該會看到選擇模型部署優先順序的選項，可用於先佔叢集上的其他部署和任務。

   3. 輸入管理員提供您存取權的命名空間。您可能需要直接聯絡您的管理員，以取得確切的命名空間。提供有效的命名空間後，應啟用部署按鈕以部署模型。

5. 選擇部署並等待建立端點。

6. 建立端點之後，選取測試推論。

編輯 HyperPod 部署

1. 在 Amazon SageMaker Studio 中，從左側導覽窗格中選取運算，然後選取 HyperPod 叢集。

2. 在部署下，選擇您要修改的 HyperPod 叢集部署。

3. 從垂直省略號圖示 (⋮)，選擇編輯。

4. 在部署設定下，您可以啟用或停用自動擴展，並變更複本數量上限。

5. 選取 Save (儲存)。

6. 狀態將變更為更新。一旦變更回服務中，您的變更即完成，您會看到確認該變更的訊息。

刪除 HyperPod 部署

1. 在 Amazon SageMaker Studio 中，從左側導覽窗格中選取運算，然後選取 HyperPod 叢集。

2. 在部署下，選擇您要修改的 HyperPod 叢集部署。

3. 從垂直省略號圖示 (⋮)，選擇刪除。

4. 在刪除 HyperPod 部署視窗中，選取核取方塊。

5. 選擇 刪除。

6. 狀態將變更為刪除。刪除 HyperPod 部署後，您會看到確認訊息。