Neptune ML 階段的執行個體選擇

Neptune ML 處理的不同階段會使用不同的 SageMaker 執行個體。在此，我們討論如何為每個階段選擇正確的執行個體類型。您可以在 Amazon SageMaker 定價中找到 SageMaker 執行個體類型和定價的相關資訊。

選取執行個體進行資料處理

SageMaker 資料處理步驟需要處理執行個體對輸入、中繼和輸出資料具有足夠的記憶體和磁碟儲存體。所需的特定記憶體和磁碟儲存體容量取決於 Neptune ML 圖形的特性及其匯出的特徵。

根據預設，Neptune ML 會選擇其記憶體十倍於磁碟上所匯出圖形資料大小的最小 ml.r5 執行個體。

選取執行個體進行模型訓練和模型轉換

選取正確的執行個體類型進行模型訓練或模型轉換，取決於任務類型、圖形大小和您的周轉需求。GPU 執行個體可提供最佳效能。我們通常建議 p3 和 g4dn 序列執行個體。您也可以使用 p2 或 p4d 執行個體。

根據預設，Neptune ML 會選擇其記憶體超過模型訓練和模型轉換所需的最小 GPU 執行個體。您可以在 Amazon S3 資料處理輸出位置的 train_instance_recommendation.json 檔案中找到該選擇的內容。以下是 train_instance_recommendation.json 檔案的內容範例：

{ 
  "instance":     "(the recommended instance type for model training and transform)",
  "cpu_instance": "(the recommended instance type for base processing instance)", 
  "disk_size":    "(the estimated disk space required)",
  "mem_size":     "(the estimated memory required)"
}

為推論端點選取執行個體

為推論端點選取正確的執行個體類型，取決於任務類型、圖形大小和預算。根據預設，Neptune ML 會選擇其記憶體超過推論端點所需的最小ml.m5d執行個體。

注意

如果需要超過 384 GB 的記憶體，Neptune ML 會使用 ml.r5d.24xlarge 執行個體。

您可以在 infer_instance_recommendation.json 檔案中查看 Neptune ML 建議的執行個體類型，此檔案位於您用於模型訓練的 Amazon S3 位置。以下是該檔案的內容範例：

{ 
  "instance" :   "(the recommended instance type for an inference endpoint)",
  "disk_size" :  "(the estimated disk space required)",
  "mem_size" :   "(the estimated memory required)"
}