使用 Amazon 進行推論的進階端點選項 SageMaker

透過即時推論，您可以利用下列進階推論選項，進一步最佳化效能與成本：

• 多模型端點 – 如果您有使用相同架構且可共用容器的多個模型，請使用此選項。此選項可透過改善端點使用率並降低部署額外負荷，來協助您最佳化成本。

• 多容器端點 – 如果您有多個模型使用不同的架構，且需要自己的容器，請使用此選項。您可以獲得多模型端點的許多優點，並可部署各種架構和模型。

• 序列推論管道 – 如果您想要託管端點後方具有預先處理和後處理邏輯的模型，請使用此選項。推論管道完全由 管理 SageMaker ，並提供較低的延遲，因為所有容器都託管在相同的 Amazon EC2執行個體上。