View a markdown version of this page

モデルのカスタマイズにアクセスする方法 - Amazon SageMaker AI
Studio UIPython SDK V3レシピ (トレーニングジョブ + HyperPod)HP-CLI

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

モデルのカスタマイズにアクセスする方法

Amazon SageMaker AI は、モデルをカスタマイズするための複数のインターフェイスを提供します。次の表は、ワークフローとコントロールレベルに最適なインターフェイスを選択するオプションをまとめたものです。

インターフェイス インフラストラクチャ 次の用途に適しています コントロールレベル
Studio UI サーバーレス クイック実験、ノーコードユーザー ガイド付き — モデル、手法の選択、データのアップロード
Python SDK ( SFTTrainerなど) サーバーレス 再現可能なパイプライン、自動化 プログラムによる — コード内のすべてのパラメータを指定する
Python SDK (ModelTrainer) SageMaker AI トレーニングジョブ カスタムインスタンス、詳細設定 Full — インスタンスタイプ、カウント、イメージを選択します。
recipe トレーニングジョブ + HyperPod 事前設定されたベストプラクティス レシピ駆動型 — YAML 設定の変更
HP-CLI HyperPod (EKS) Kubernetes- ネイティブチーム フル — Kubernetesジョブ送信
エージェント (モデルカスタマイズスキル) サーバーレス 自然言語ワークフロー、ガイド付きエクスペリエンス 対話型 — 必要なものを記述する

Studio UI

SageMaker AI Studio コンソールは、コードを記述せずにモデルをカスタマイズするためのビジュアルワークフローを提供します。

UI でカスタマイズする

サーバーレスモデルカスタマイズのプライマリエントリポイント。ガイド付きワークフローについて説明します。

  1. カタログから基盤モデルを選択する

  2. カスタマイズ手法 (SFT、DPO、RLVR、RLAIF) を選択する

  3. トレーニングタイプを選択する (LoRA または FFT)

  4. トレーニングデータセットをアップロードまたは指定する (S3 パス)

  5. ハイパーパラメータを設定する

  6. トレーニングジョブを起動する

ライブメトリクスとログを使用して、リアルタイムで進行状況をモニタリングします。

JumpStart モデルハブ

カスタマイズ可能な基盤モデルを参照して発見します。プロバイダー、タスク、またはモデルサイズでフィルタリングします。モデル詳細カードから、カスタマイズを直接起動できます。

エージェントガイドエクスペリエンス

Amazon SageMaker AI スキルを使用して、会話型のアプローチでモデルのカスタマイズを行います。自然言語で達成したいことを説明すると、エージェントはモデルの選択、データセットの準備、ジョブ設定をガイドします。詳細については、「モデルカスタマイズエージェントのスキル」を参照してください。

Python SDK V3

SageMaker AI Python SDK を使用したサーバーレスおよび SageMaker AI トレーニングジョブワークフローへのプログラムによるアクセス。

サーバーレストレーナー

フルマネージド型のカスタマイズには、技術固有のトレーナークラスを使用します。

from sagemaker.modules.train import SFTTrainer, DPOTrainer, RLVRTrainer, RLAIFTrainer

# Example: Serverless SFT
trainer = SFTTrainer(
    model_id="meta-textgeneration-llama-3-1-8b-instruct",
    train_data="s3://my-bucket/train.jsonl",
    hyperparameters={
        "max_epochs": 3,
        "learning_rate": 5e-5,
        "lora_rank": 16,
    }
)
trainer.train()

SageMaker AI トレーニングジョブ

インスタンスの選択を完全に制御ModelTrainerするには、 を使用します。

from sagemaker.modules.train import ModelTrainer
from sagemaker.modules.configs import Compute, InputData

trainer = ModelTrainer(
    training_image="my-training-image",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    compute=Compute(instance_type="ml.p4d.24xlarge", instance_count=2)
)
trainer.train(input_data_config=[
    InputData(channel_name="training", data_source="s3://my-bucket/train")
])

レシピ (トレーニングジョブ + HyperPod)

SageMaker AI トレーニングジョブまたは HyperPod クラスターで事前設定されたトレーニングレシピを実行します。 HyperPod レシピは、分散トレーニング設定、データセットのロード、チェックポイント管理を自動的に処理します。

レシピは、サポートされているすべてのモデルと手法で使用できます。カタログの詳細については、SageMaker AI HyperPod recipes」を参照してください。

git clone --recursive https://github.com/aws/sagemaker-hyperpod-recipes.git
cd sagemaker-hyperpod-recipes
pip3 install -r requirements.txt

# Launch a fine-tuning recipe
python3 launcher/launch.py --recipe recipes_collection/recipes/fine-tuning/llama/sft_lora.yaml

HP-CLI

HyperPod EKS クラスターにトレーニングジョブを送信するためのコマンドラインインターフェイス。HP-CLI は Kubernetesベースのワークロードオーケストレーションと統合され、永続的クラスターでのコンテナ化されたトレーニングを実現します。

セットアップと使用については、「Amazon EKS での HyperPod」を参照してください。