大規模モデル推論 (LMI) コンテナのドキュメント

大規模モデル推論 (LMI) コンテナのドキュメントは、Deep Java Library のドキュメンテーションサイトで提供されています。

このドキュメントは、Amazon SageMaker で大規模言語モデル (LLM) をデプロイして最適化する必要がある開発者、データサイエンティスト、機械学習エンジニア向けに書かれています。LMI コンテナ (LLM 推論専用の専用の Docker コンテナ) を使用するのに役立ちます。 AWS概要、デプロイガイド、サポートされている推論ライブラリのユーザーガイド、高度なチュートリアルが提供されています。

LMI コンテナのドキュメントを使用すると、次のことが可能になります。

• LMI コンテナのコンポーネントとアーキテクチャを理解してください。

• ユースケースに適したインスタンスタイプとバックエンドを選択する方法を学びましょう。

• LMI SageMaker コンテナを使用して LLM を設定してデプロイします。

• 量子化、テンソル並列処理、連続バッチ処理などの機能を使用してパフォーマンスを最適化します。

• エンドポイントのベンチマークとチューニングを行い、スループットとレイテンシが最適になるようにします。 SageMaker