Cara mengakses kustomisasi model

Amazon SageMaker AI menyediakan beberapa antarmuka untuk penyesuaian model. Tabel berikut merangkum opsi Anda - pilih antarmuka yang paling sesuai dengan alur kerja dan tingkat kontrol Anda.

Antarmuka	Infrastruktur	Terbaik untuk	Tingkat kontrol
UI Studio	Nirserver	Eksperimen cepat, pengguna tanpa kode	Dipandu - pilih model, teknik, unggah data
PythonSDK (SFTTrainer, dll.)	Nirserver	Saluran pipa yang dapat direproduksi, otomatisasi	Terprogram - tentukan semua parameter dalam kode
PythonSDK (ModelTrainer)	SageMaker Lowongan AI Training	Instans khusus, konfigurasi lanjutan	Penuh - pilih jenis instance, jumlah, gambar
Resep	Pekerjaan Pelatihan + HyperPod	Pre-configured praktik terbaik	Recipe-driven — memodifikasi konfigurasi YAML
HP-CLI	HyperPod(EX)	Kubernetes-tim asli	Penuh - Kubernetes pengajuan pekerjaan
Agen (Keterampilan kustomisasi model)	Nirserver	Alur kerja bahasa alami, pengalaman terpandu	Percakapan - jelaskan apa yang Anda butuhkan

UI Studio

Konsol SageMaker AI Studio menyediakan alur kerja visual untuk penyesuaian model tanpa menulis kode.

Sesuaikan dengan UI

Titik masuk utama untuk kustomisasi model tanpa server. Jelajahi alur kerja yang dipandu:

1. Pilih model pondasi dari katalog

2. Pilih teknik kustomisasi (SFT, DPO, RLVR, RLAIF)

3. Pilih jenis pelatihan (LoRAatau FFT)

4. Unggah atau tentukan dataset pelatihan Anda (jalur S3)

5. Konfigurasikan hyperparameter

6. Luncurkan pekerjaan pelatihan

Pantau kemajuan secara real time dengan metrik dan log langsung.

JumpStart hub model

Jelajahi dan temukan model pondasi yang tersedia untuk penyesuaian. Filter berdasarkan penyedia, tugas, atau ukuran model. Dari kartu detail model, Anda dapat meluncurkan kustomisasi secara langsung.

Agent-Guided pengalaman

Gunakan Amazon SageMaker AI Skills untuk pendekatan percakapan untuk kustomisasi model. Jelaskan apa yang ingin Anda capai dalam bahasa alami, dan agen memandu Anda melalui pemilihan model, persiapan dataset, dan konfigurasi pekerjaan. Untuk informasi selengkapnya, lihat Keter ampilan agen kustomisasi model.

Python SDK V3

Akses terprogram untuk alur kerja tanpa server dan Pekerjaan Pelatihan SageMaker AI menggunakan SageMaker AI Python SDK.

Pelatih tanpa server

Gunakan kelas pelatih khusus teknik untuk kustomisasi yang dikelola sepenuhnya:

from sagemaker.modules.train import SFTTrainer, DPOTrainer, RLVRTrainer, RLAIFTrainer

# Example: Serverless SFT
trainer = SFTTrainer(
    model_id="meta-textgeneration-llama-3-1-8b-instruct",
    train_data="s3://my-bucket/train.jsonl",
    hyperparameters={
        "max_epochs": 3,
        "learning_rate": 5e-5,
        "lora_rank": 16,
    }
)
trainer.train()

SageMaker Lowongan AI Training

Gunakan ModelTrainer untuk kontrol penuh atas pemilihan instance:

from sagemaker.modules.train import ModelTrainer
from sagemaker.modules.configs import Compute, InputData

trainer = ModelTrainer(
    training_image="my-training-image",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    compute=Compute(instance_type="ml.p4d.24xlarge", instance_count=2)
)
trainer.train(input_data_config=[
    InputData(channel_name="training", data_source="s3://my-bucket/train")
])

Resep (Pekerjaan Pelatihan + HyperPod)

Jalankan resep pelatihan yang telah dikonfigurasi sebelumnya pada SageMaker Pekerjaan Pelatihan AI atau HyperPod cluster. Resep menangani konfigurasi pelatihan terdistribusi, pemuatan dataset, dan manajemen pos pemeriksaan secara otomatis.

Resep tersedia untuk semua model dan teknik yang didukung. Lihat HyperPod resep SageMaker AI untuk katalog lengkapnya.

git clone --recursive https://github.com/aws/sagemaker-hyperpod-recipes.git
cd sagemaker-hyperpod-recipes
pip3 install -r requirements.txt

# Launch a fine-tuning recipe
python3 launcher/launch.py --recipe recipes_collection/recipes/fine-tuning/llama/sft_lora.yaml

HP-CLI

Command-line antarmuka untuk mengirimkan pekerjaan pelatihan ke HyperPod cluster EKS. HP-CLI terintegrasi dengan orkestrasi beban kerja Kubernetes berbasis untuk pelatihan kontainer pada cluster persisten.

Untuk pengaturan dan penggunaan, lihat HyperPod dengan Amazon EKS.