Amazon SageMaker HyperPod での Amazon Nova のカスタマイズ HyperPod

Amazon Nova レシピを使用して Amazon Nova モデルをカスタマイズし、Amazon SageMaker HyperPod でトレーニングできます。レシピとは、モデルのカスタマイズジョブを実行する方法の詳細を SageMaker AI に提供する YAML 設定ファイルを指します。

Amazon SageMaker HyperPod は、最適化された GPU インスタンスと Amazon FSx for Lustre ストレージを備えた高性能コンピューティングを提供します。 TensorBoard などのツールとの統合による堅牢なモニタリング 反復的な改善のための柔軟なチェックポイント管理 推論のための Amazon Bedrock へのシームレスなデプロイ と効率的なスケーラブルなマルチノード分散トレーニングがすべて連携して、組織に安全な パフォーマンス と柔軟な環境により、Nova モデルを特定のビジネス要件に合わせて調整できます。

Amazon SageMaker HyperPod での Amazon Nova のカスタマイズは、モデルチェックポイントを含むモデルアーティファクトをサービスマネージド Amazon S3 バケットに保存します。 HyperPod サービスマネージドバケット内のアーティファクトは、SageMaker マネージド AWS KMS キーで暗号化されます。サービスマネージド Amazon S3 バケットは現在、カスタマーマネージド KMS キーを使用したデータ暗号化をサポートしていません。このチェックポイントの場所は、評価ジョブまたは Amazon Bedrock 推論に使用できます。

コンピューティングインスタンス、Amazon S3 ストレージ、FSx for Lustre には、標準料金が適用されます。料金の詳細については、SageMaker HyperPod の料金」、Amazon S3の料金」、FSx for Lustre の料金」を参照してください。

コンピューティング要件

次の表は、SageMaker HyperPod トレーニングの計算要件をまとめたものです。

事前トレーニング

モデル	シーケンスの長さ	ノード	インスタンス	アクセラレーター
Amazon Nova Micro	8,192	8	ml.p5.48xlarge	GPU H100
Amazon Nova Lite	8,192	16	ml.p5.48xlarge	GPU H100
Amazon Nova Pro	8,192	24	ml.p5.48xlarge	GPU H100

直接選好最適化 (DPO)

モデル	シーケンスの長さ	ノードの数。	インスタンス	アクセラレーター
直接設定の最適化 (フル）	32,768	2、4、または 6	ml.p5.48xlarge	GPU H100
直接設定の最適化 (LoRA)	32,768	2、4、または 6	ml.p5.48xlarge	GPU H100

ファインチューニング

モデル	シーケンスの長さ	ノードの数。	インスタンス	アクセラレーター
教師ありファインチューニング (LoRA)	65,536	2	ml.p5.48xlarge	GPU H100
教師ありファインチューニング (フル）	65,536	2	ml.p5.48xlarge	GPU H100
教師ありファインチューニング (LoRA)	32,768	4	ml.p5.48xlarge	GPU H100
教師ありファインチューニング (フル）	65,536	4	ml.p5.48xlarge	GPU H100
教師ありファインチューニング (LoRA)	65,536	6	ml.p5.48xlarge	GPU H100
教師ありファインチューニング (フル）	65,536	6	ml.p5.48xlarge	GPU H100

蒸留

モデル	ノード	インスタンス
トレーニング後のモデル抽出	1	ml.r5.24xlarge

評価

モデル	シーケンスの長さ	ノード	インスタンス	アクセラレーター
一般的なテキストベンチマークレシピ	8,192	1	ml.p5.48xlarge	GPU H100
Bring your own dataset (gen_qa) benchmark レシピ	8,192	1	ml.p5.48xlarge	GPU H100
審査員レシピとしての Amazon Nova LLM	8,192	1	ml.p5.48xlarge	GPU H100
標準テキストベンチマーク	8,192	1	ml.p5.48xlarge	GPU H100
カスタムデータセットの評価	8,192	1	ml.p5.48xlarge	GPU H100
マルチモーダルベンチマーク	8,192	1	ml.p5.48xlarge	GPU H100

プロキシマルポリシーの最適化

モデル	クリティカルモデルインスタンス数	報酬モデルインスタンス数	アンカーモデルインスタンス数	アクタートレーニング	アクターの生成	インスタンスの数	実行あたりの合計時間	P5 時間	インスタンスタイプ
Amazon Nova Micro	1	1	1	2	2	7	8	56	ml.p5.48xlarge
Amazon Nova Lite	1	1	1	2	2	7	16	112	ml.p5.48xlarge
Amazon Nova Pro	1	1	1	6	2	11	26	260	ml.p5.48xlarge

トピック

• 制限されたインスタンスグループ (RIG) を使用した HyperPod EKS クラスターの作成

• 継続的事前トレーニング (CPT)

• 教師ありファインチューニング (SFT)

• 直接選好最適化 (DPO)

• 近似ポリシー最適化 (PPO)

• HyperPod CLI を使用したトレーニングジョブの開始

• トレーニング済みモデルの評価