Amazon EKS でリアルタイムのオンライン推論ワークロードを実行する

このセクションは、Amazon Elastic Kubernetes Service (EKS) でリアルタイムオンライン推論ワークロードをデプロイして運用するのに役立つ構成になっています。GPU アクセラレーションノードを持つ最適化されたクラスターの構築、ストレージと自動スケーリングのための AWS サービスの統合、検証用のサンプルモデルのデプロイや、CPU タスクと GPU タスクの切り離し、適切な AMI とインスタンスタイプの選択、推論エンドポイントの低レイテンシー公開などアーキテクチャに関する主な考慮事項についてのガイダンスを提供します。