SDK Kustomisasi Nova

Nova Customization SDK adalah SDK Python komprehensif untuk menyesuaikan model Amazon Nova. SDK menyediakan antarmuka terpadu untuk pelatihan, evaluasi, pemantauan, penyebaran, dan inferensi model Amazon Nova di berbagai platform termasuk SageMaker AI dan Amazon Bedrock. Baik Anda mengadaptasi model ke tugas khusus domain atau mengoptimalkan kinerja untuk kasus penggunaan Anda, SDK ini menyediakan semua yang Anda butuhkan dalam satu antarmuka terpadu.

Manfaat

• Satu SDK untuk seluruh siklus hidup kustomisasi model—mulai dari persiapan data hingga penerapan dan pemantauan.

• Support untuk beberapa metode pelatihan termasuk supervised fine-tuning (SFT) dan reinforcement fine-tuning (RFT), dengan pendekatan LoRa dan peringkat penuh.

• Dukungan bawaan untuk Pekerjaan Pelatihan SageMaker AI dan SageMaker HyperPod, dengan manajemen sumber daya otomatis.

• Tidak perlu lagi menemukan resep atau URI wadah yang tepat untuk teknik pelatihan Anda.

• Bawa resep pelatihan Anda sendiri atau gunakan default cerdas SDK dengan penggantian parameter.

• SDK memvalidasi konfigurasi Anda terhadap kombinasi model dan instance yang didukung, mencegah kesalahan sebelum pelatihan dimulai.

• CloudWatch Pemantauan Amazon terintegrasi memungkinkan Anda melacak kemajuan pelatihan secara real-time.

Persyaratan

SDK membutuhkan setidaknya Python 3.12.

Penginstalan

Untuk menginstal SDK ini, ikuti perintah di bawah ini.

pip install amzn-nova-customization-sdk

Model dan Teknik yang Didukung

SDK mendukung model dan teknik berikut dalam keluarga Amazon Nova:

Metode	Model yang Didukung
LoRa Fine-tuning yang diawasi	Semua Model Nova
Peringkat Penuh Fine-tuning yang Diawasi	Semua Model Nova
Penguatan Fine-tuning LoRa	Nova Lite 2.0
Penguatan Fine-tuning Peringkat Penuh	Nova Lite 2.0

Memulai

1. Siapkan Data Anda

Muat kumpulan data Anda dari file lokal atau S3, dan biarkan SDK menangani transformasi ke format yang benar untuk metode pelatihan yang Anda pilih. Atau, berikan data yang diformat dan segera mulai.

from amzn_nova_customization_sdk.dataset.dataset_loader import JSONLDatasetLoader
from amzn_nova_customization_sdk.model.model_enums import Model, TrainingMethod

loader = JSONLDatasetLoader(question="input", answer="output")
loader.load("s3://your-bucket/training-data.jsonl")
loader.transform(method=TrainingMethod.SFT_LORA, model=Model.NOVA_LITE)

2. Konfigurasikan Infrastruktur Anda

Pilih sumber daya komputasi Anda—SDK memvalidasi konfigurasi dan memastikan penyiapan yang optimal.

from amzn_nova_customization_sdk.manager.runtime_manager import SMTJRuntimeManager, SMHPRuntimeManager


# SageMaker Training Jobs
runtime = SMTJRuntimeManager(
    instance_type="ml.p5.48xlarge",
    instance_count=4
)

# SageMaker HyperPod
runtime = SMHPRuntimeManager(
    instance_type="ml.p5.48xlarge",
    instance_count=4,
    cluster_name="my-hyperpod-cluster",
    namespace="kubeflow"
)

3. kereta api

Mulai pelatihan hanya dengan beberapa baris kode.

from amzn_nova_customization_sdk.model import NovaModelCustomizer
from amzn_nova_customization_sdk.model.model_enums import Model, TrainingMethod

customizer = NovaModelCustomizer(
    model=Model.NOVA_LITE_2,
    method=TrainingMethod.SFT_LORA,
    infra=runtime,
    data_s3_path="s3://your-bucket/prepared-data.jsonl"
)

result = customizer.train(job_name="my-training-job")

4. Memantau

Lacak kemajuan latihan Anda langsung dari SDK.

from amzn_nova_customization_sdk.monitor.log_monitor import CloudWatchLogMonitor

# Monitor training logs
customizer.get_logs()

# Or monitor directly via CloudWatchLogMonitor
monitor = CloudWatchLogMonitor.from_job_result(result)
monitor.show_logs(limit=10)

# Check job status
result.get_job_status() # InProgress, Completed, Failed

5. Evaluasi

Evaluasi kinerja model dengan berbagai tolok ukur bawaan, atau rancang evaluasi Anda sendiri.

from amzn_nova_customization_sdk.recipe_config.eval_config import EvaluationTask

# Evaluate on benchmark tasks
eval_result = customizer.evaluate(
    job_name="model-eval",
    eval_task=EvaluationTask.MMLU,
    model_path=result.model_artifacts.checkpoint_s3_path
)

6. Deploy

Terapkan model khusus Anda ke produksi dengan dukungan bawaan untuk Amazon Bedrock.

from amzn_nova_customization_sdk.model.model_enums import DeployPlatform

# Bedrock provisioned throughput
deployment = customizer.deploy(
    model_artifact_path=result.model_artifacts.checkpoint_s3_path,
    deploy_platform=DeployPlatform.BEDROCK_PT,
    pt_units=10
)

# Bedrock On-Demand
deployment = customizer.deploy(
    model_artifact_path=result.model_artifacts.checkpoint_s3_path,
    deploy_platform=DeployPlatform.BEDROCK_OD,
    pt_units=10
)

Kemampuan Kunci

Penciptaan Resep On The Fly

SDK menghilangkan kebutuhan untuk mencari resep atau URI wadah yang sesuai untuk teknik tertentu.

Pemrosesan Data Cerdas

SDK secara otomatis mengubah data Anda menjadi format yang benar untuk pelatihan. Baik Anda bekerja dengan file JSON, JSONL, atau CSV, pemuat data menangani konversi dengan mulus. Data Loader mendukung teks serta data multimodal (gambar dan video).

Dukungan Infrastruktur Perusahaan

SDK bekerja dengan Pekerjaan SageMaker Pelatihan dan SageMaker HyperPod, secara otomatis mengelola:

• Validasi tipe instans

• Validasi resep

• Orkestrasi dan pemantauan Job

Evaluasi komprehensif

Evaluasi model khusus Anda terhadap tolok ukur standar termasuk:

• MMLU (Pemahaman Bahasa Multitask Besar-besaran)

• BBH (Tugas Penalaran Tingkat Lanjut)

• GPQA (Tanya Jawab Bukti Google Tingkat Pascasarjana)

Baik menggunakan default benchmark, atau memodifikasinya agar sesuai dengan kebutuhan Anda:

• BYOM (Bawa Metrik Anda Sendiri)

• BYOD (Bawa Dataset Anda Sendiri)

Penyebaran Produksi

Terapkan model Anda ke Amazon Bedrock dengan opsi untuk:

• Provisioned Throughput - Kapasitas khusus untuk kinerja yang konsisten

• Sesuai Permintaan - harga Pay-per-use

Inferensi Batch

Jalankan pekerjaan inferensi skala besar secara efisien:

• Memproses ribuan permintaan secara paralel

• Agregasi hasil otomatis

• Pemrosesan batch hemat biaya

Pelajari Lebih Lanjut

Siap untuk mulai menyesuaikan model Nova dengan Nova Customization SDK? Lihat GitHub repositori kami untuk panduan terperinci, referensi API, dan contoh tambahan:/https://github.com/aws-samples/sample-nova-customization-sdk