翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
SageMaker モデル並列処理ライブラリ v2
注記
2023 年 12 月 19 SageMaker 日にモデル並列処理 (SMP) ライブラリ v2.0.0 がリリースされて以降、このドキュメントは SMP ライブラリ v2 向けに更新されました。(アーカイブ済み) SageMaker モデル並列処理ライブラリ v1.xSMP ライブラリの以前のバージョンについては、を参照してください。
Amazon SageMaker モデル並列処理ライブラリは、 SageMaker Accelerate Compute SageMaker インスタンスでの高性能で最適化された大規模トレーニングを可能にする機能です。ハイブリッドシャーディングデータ並列処理、テンソル並列処理、アクティベーションチェックポイント、アクティベーションオフロードなど、ラージモデルトレーニングを加速、 SageMaker モデル並列処理ライブラリ v2 の主な機能簡素化する手法と最適化が含まれています。SMP ライブラリを使用すると、数千億のパラメーターを含む大規模言語モデル (LLM)、大規模ビジョンモデル (LVM)、および基盤モデル (FM) のトレーニングと微調整を加速できます。
SageMaker モデル並列処理ライブラリ v2 (SMP v2) は、ライブラリの API PyTorch とメソッドをオープンソースのFully Sharded Data Parallelism (FSDP) と連携させます。これにより、コードの変更を最小限に抑えて SMP パフォーマンスを最適化できるというメリットが得られます。SMP v2 では、FSDP トレーニングスクリプトをに導入することで、大規模なモデルをトレーニングする際の計算パフォーマンスを向上させることができます。 state-of-the-art SageMaker PyTorch SageMaker
SMP v2 は、SageMaker 一般的なトレーニングジョブやクラスター上の分散型トレーニングワークロードに使用できます。SageMaker HyperPod
トピック
