在 Amazon EKS 上執行即時線上推論工作負載

本節旨在協助您在 Amazon Elastic Kubernetes Service (EKS) 上部署和操作即時線上推論工作負載。您可以找到使用 GPU 加速節點建置最佳化叢集、整合儲存和自動擴展 AWS 服務、部署驗證範例模型，以及解耦 CPU 和 GPU 任務、選取適當的 AMIs 和執行個體類型，以及確保低延遲暴露推論端點等關鍵架構考量的相關指引。