Resep Amazon Nova

Anda bisa mendapatkan resep Amazon Nova dari repositori SageMaker HyperPod resep. Resep Nova adalah file konfigurasi YAMM yang memberikan detail ke SageMaker AI tentang cara menjalankan pekerjaan penyesuaian model Anda. Ini memberikan nama model dasar, menetapkan hyperparameters pelatihan, mendefinisikan pengaturan pengoptimalan, dan menyertakan opsi tambahan yang diperlukan untuk menyempurnakan atau melatih model dengan sukses.

Anda juga dapat mengakses resep Nova melalui Amazon SageMaker Studio dan Amazon SageMaker Unified Studio dengan menavigasi ke hub JumpStart model, memilih AWS, dan menjelajahi model Amazon Nova untuk menemukan resep terkait. Baik Amazon SageMaker Studio dan Amazon SageMaker Unified Studio menyediakan contoh notebook untuk setiap resep, yang mencakup semua langkah yang diperlukan untuk memodifikasi resep dan menjalankan pekerjaan penyesuaian menggunakan pekerjaan pelatihan SageMaker AI atau lingkungan Amazon SageMaker HyperPod .

Untuk mengakses halaman resep di Amazon SageMaker Studio, peran eksekusi harus memiliki izin berikut.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::*model-customization-recipes*"
            ]
        }
    ]
}

Untuk menjalankan contoh buku catatan tentang pekerjaan SageMaker pelatihan dan SageMaker HyperPod, gunakan salah satu versi gambar SageMaker distribusi berikut:2.7.1+,, 2.8.0+3.2.1+,3.3.0+. Ini berlaku untuk Amazon SageMaker Studio dan Amazon SageMaker Unified Studio.

Mendapatkan resep Amazon Nova

Untuk mendapatkan resep dasar Amazon Nova, kloning repositori SageMaker HyperPod resep dengan menjalankan perintah berikut.

git clone https://github.com/aws/sagemaker-hyperpod-recipes.git

Resep dasar tersedia di recipes_collection/recipes/.

cd recipes_collection/recipes/

Resep kustomisasi Amazon Nova ada di folder berikut.

Jenis resep	Folder
SFT (peringkat penuh dan PEFT), PPO, DPO (peringkat penuh dan PEFT)	fine-tuning/nova
Evaluasi	evaluasi/nova
CPT	pelatihan/nova

Model dan algoritma yang tersedia

Tabel berikut merangkum ketersediaan kustomisasi untuk model Amazon Nova dan algoritma yang didukung menggunakan SageMaker AI.

Nama model	ID Model	Penyetelan halus	Catatan
Amazon Nova Mikro	Amazon. nova-micro-v1:0:128 k	Ya	Untuk SFT dan DPO, model ini menerima teks sebagai input dan menghasilkan teks sebagai output saja.
Amazon Nova Lite	Amazon. nova-lite-v1:0:300 k	Ya	SFT - Menerima and/or gambar teks atau and/or video teks sebagai input dan menghasilkan teks sebagai output. Satu pekerjaan tidak dapat menggabungkan teks, gambar, dan video dalam proses yang sama. DPO - Menerima teks dan gambar sebagai input dan menghasilkan teks sebagai output.
Amazon Nova Pro	Amazon. nova-pro-v1:0:300 k	Ya	SFT - Menerima and/or gambar teks atau and/or video teks sebagai input dan menghasilkan teks sebagai output. Satu pekerjaan tidak dapat menggabungkan teks, gambar, dan video dalam proses yang sama. DPO - Menerima teks dan gambar sebagai input dan menghasilkan teks sebagai output.

Referensi resep Amazon Nova

Tabel di bawah ini mencantumkan informasi rinci tentang referensi resep Amazon Nova.

Model	Kategori/sub-kategori	Teknik	Nama resep	Image URI (lowongan SageMaker pelatihan)	Gambar URI (SageMaker HyperPod)	Contoh komputasi
Nova Lite	Pelatihan/fine-tuning	Fine-Tuning yang Diawasi (LoRa)	nova_lite_p5_gpu_lora_sft.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest	ml.p5.48xlarge
Nova Lite	Pelatihan/fine-tuning	Fine-Tuning yang Diawasi (Lengkap)	nova_lite_p5_gpu_sft.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest	ml.p5.48xlarge
Nova Lite	Pelatihan/fine-tuning	Optimasi Preferensi Langsung (Penuh)	nova_lite_p5_gpu_dpo.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest	ml.p5.48xlarge
Nova Lite	Pelatihan/fine-tuning	Optimasi Preferensi Langsung (LoRa)	nova_lite_p5_gpu_lora_dpo.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest	ml.p5.48xlarge
Nova Lite	Pelatihan/Pembelajaran penguatan	Pembelajaran Penguatan Berbasis Hadiah (PPO)	nova_lite_p5_gpu_ppo.yaml	T/A	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest	ml.p5.48xlarge
Nova Lite	Pelatihan/Pra-Pelatihan Lanjutan	Pra-Pelatihan Lanjutan (model dasar)	nova_lite_gpu_p5x16_pretrain.yaml	T/A	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest	ml.p5.48xlarge
Nova Lite	Evaluasi/Evaluasi	Tolok ukur teks standar	nova_lite_p5_48xl_general_text_benchmark_eval.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest	ml.p5.48xlarge
Nova Lite	Evaluasi/Evaluasi	Evaluasi dataset khusus	nova_lite_p5_48xl_bring_your_own_dataset_eval.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest	ml.p5.48xlarge
Nova Lite	Evaluasi/Evaluasi	Tolok ukur multi-modal	nova_lite_p5_48_general_multi_modal_benchmark_eval.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest	ml.p5.48xlarge
Nova Lite	Evaluasi/Evaluasi	LLM sebagai Hakim	nova_lite_p5_48xl_llm_judge_eval.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest	ml.p5.48xlarge
Nova Mikro	Pelatihan/fine-tuning	Fine-Tuning yang Diawasi (LoRa)	nova_micro_p5_gpu_lora_sft.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest	ml.p5.48xlarge
Nova Mikro	Pelatihan/fine-tuning	Fine-Tuning yang Diawasi (Lengkap)	nova_micro_p5_gpu_sft.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest	ml.p5.48xlarge
Nova Mikro	Pelatihan/fine-tuning	Optimasi Preferensi Langsung (Penuh)	nova_micro_p5_gpu_dpo.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest	ml.p5.48xlarge
Nova Mikro	Pelatihan/fine-tuning	Optimasi Preferensi Langsung (LoRa)	nova_micro_p5_gpu_lora_dpo.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest	ml.p5.48xlarge
Nova Mikro	Pelatihan/Pembelajaran penguatan	Pembelajaran Penguatan Berbasis Hadiah (PPO)	nova_micro_p5_gpu_ppo.yaml	T/A	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest	ml.p5.48xlarge
Nova Mikro	Pelatihan/Pra-Pelatihan Lanjutan	Pra-Pelatihan Lanjutan (Model Dasar)	nova_micro_gpu_p5x8_pretrain.yaml	T/A	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest	ml.p5.48xlarge
Nova Mikro	Evaluasi/Evaluasi	Tolok ukur teks umum	nova_micro_p5_48xl_general_text_benchmark_eval.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest	ml.p5.48xlarge
Nova Mikro	Evaluasi/Evaluasi	Bawa benchmark dataset (gen_qa) Anda sendiri	nova_micro_p5_48xl_bring_your_own_dataset_eval.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest	ml.p5.48xlarge
Nova Mikro	Evaluasi/Evaluasi	LLM sebagai Hakim	nova_micro_p5_48xl_llm_judge_eval.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest	ml.p5.48xlarge
Nova Pro	Pelatihan/fine-tuning	Fine-Tuning yang Diawasi (LoRa)	nova_pro_p5_gpu_lora_sft.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest	ml.p5.48xlarge
Nova Pro	Pelatihan/fine-tuning	Fine-Tuning yang Diawasi (Lengkap)	nova_pro_p5_gpu_sft.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest	ml.p5.48xlarge
Nova Pro	Pelatihan/fine-tuning	Optimasi Preferensi Langsung (Penuh)	nova_pro_p5_gpu_dpo.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest	ml.p5.48xlarge
Nova Pro	Pelatihan/fine-tuning	Optimasi Preferensi Langsung (LoRa)	nova_pro_p5_gpu_lora_dpo.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest	ml.p5.48xlarge
Nova Pro	Pelatihan/Pembelajaran penguatan	Pembelajaran Penguatan Berbasis Hadiah (PPO)	nova_pro_p5_gpu_ppo.yaml	T/A	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest	ml.p5.48xlarge
Nova Pro	Pelatihan/Pra-Pelatihan Lanjutan	Pra-Pelatihan Lanjutan (Model Dasar)	nova_pro_gpu_p5x24_pretrain.yaml	T/A	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest	ml.p5.48xlarge
Nova Pro	Pelatihan/Augmentasi data	Model distilasi untuk pasca pelatihan	nova_pro_r5_cpu_distill.yaml	T/A	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST	ml.r5.24xlarge
Nova Pro	Evaluasi/Evaluasi	Tolok ukur teks standar	nova_pro_p5_48xl_general_text_benchmark_eval.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest	ml.p5.48xlarge
Nova Pro	Evaluasi/Evaluasi	Evaluasi dataset khusus	nova_pro_p5_48xl_bring_your_own_dataset_eval.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest	ml.p5.48xlarge
Nova Pro	Evaluasi/Evaluasi	Tolok ukur multi-modal	nova_pro_p5_48xl_general_multi_modal_benchmark_eval.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest	ml.p5.48xlarge
Nova Pro	Evaluasi/Evaluasi	LLM sebagai Hakim	nova_pro_p5_48xl_llm_judge_eval.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest	ml.p5.48xlarge
Nova Premier	Pelatihan	Model distilasi untuk pasca pelatihan	nova_premier_r5_cpu_distill.yaml	708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST	T/A	ml.r5.24xlarge