Rekayasa cepat untuk model pondasi

Rekayasa cepat adalah proses merancang dan menyempurnakan petunjuk atau rangsangan input untuk model bahasa untuk menghasilkan jenis output tertentu. Rekayasa cepat melibatkan pemilihan kata kunci yang tepat, memberikan konteks, dan membentuk input dengan cara yang mendorong model untuk menghasilkan respons yang diinginkan dan merupakan teknik penting untuk secara aktif membentuk perilaku dan output model pondasi.

Rekayasa cepat yang efektif sangat penting untuk mengarahkan perilaku model dan mencapai respons yang diinginkan. Melalui teknik yang cepat, Anda dapat mengontrol nada, gaya, dan keahlian domain model tanpa langkah-langkah penyesuaian yang lebih terlibat seperti fine-tuning. Kami merekomendasikan untuk mendedikasikan waktu untuk mempercepat rekayasa sebelum Anda mempertimbangkan untuk menyempurnakan model pada data tambahan. Tujuannya adalah untuk memberikan konteks dan panduan yang memadai untuk model sehingga dapat menggeneralisasi dan berkinerja baik pada skenario data yang tidak terlihat atau terbatas.

Pembelajaran zero-shot

Pembelajaran zero-shot melibatkan pelatihan model untuk menggeneralisasi dan membuat prediksi pada kelas atau tugas yang tidak terlihat. Untuk melakukan rekayasa cepat di lingkungan pembelajaran zero-shot, kami merekomendasikan pembuatan prompt yang secara eksplisit memberikan informasi tentang tugas target dan format keluaran yang diinginkan. Misalnya, jika Anda ingin menggunakan model dasar untuk klasifikasi teks zero-shot pada serangkaian kelas yang tidak dilihat model selama pelatihan, prompt yang direkayasa dengan baik dapat berupa: "Classify the following text as either sports, politics, or entertainment: [input text]." Dengan secara eksplisit menentukan kelas target dan format keluaran yang diharapkan, Anda dapat memandu model untuk membuat prediksi yang akurat bahkan pada kelas yang tidak terlihat.

Pembelajaran beberapa tembakan

Pembelajaran few-shot melibatkan pelatihan model dengan jumlah data terbatas untuk kelas atau tugas baru. Rekayasa cepat di lingkungan belajar yang sedikit berfokus pada perancangan petunjuk yang secara efektif menggunakan data pelatihan terbatas yang tersedia. Misalnya, jika Anda menggunakan model dasar untuk tugas klasifikasi gambar dan hanya memiliki beberapa contoh kelas gambar baru, Anda dapat merekayasa prompt yang menyertakan contoh berlabel yang tersedia dengan placeholder untuk kelas target. Misalnya, prompt dapat berupa:"[image 1], [image 2], and [image 3] are examples of [target class]. Classify the following image as [target class]". Dengan memasukkan contoh berlabel terbatas dan secara eksplisit menentukan kelas target, Anda dapat memandu model untuk menggeneralisasi dan membuat prediksi yang akurat bahkan dengan data pelatihan minimal.

Parameter inferensi yang didukung

Mengubah parameter inferensi juga dapat memengaruhi respons terhadap permintaan Anda. Meskipun Anda dapat mencoba menambahkan spesifisitas dan konteks sebanyak mungkin ke prompt Anda, Anda juga dapat bereksperimen dengan parameter inferensi yang didukung. Berikut ini adalah contoh dari beberapa parameter inferensi yang umum didukung:

Parameter Inferensi	Deskripsi
max_new_tokens	Panjang output maksimum dari respons model pondasi. Nilai yang valid: bilangan bulat, rentang: Bilangan bulat positif.
temperature	Mengontrol keacakan dalam output. Suhu yang lebih tinggi menghasilkan urutan keluaran dengan kata-kata probabilitas rendah dan suhu yang lebih rendah menghasilkan urutan keluaran dengan kata-kata probabilitas tinggi. Jikatemperature=0, responsnya hanya terdiri dari kata-kata probabilitas tertinggi (decoding serakah). Nilai yang valid: float, range: Positive float.
top_p	Dalam setiap langkah pembuatan teks, model mengambil sampel dari kumpulan kata sekecil mungkin dengan probabilitas kumulatif. top_p Nilai yang valid: float, range: 0.0, 1.0.
return_full_text	JikaTrue, maka teks input adalah bagian dari teks keluaran yang dihasilkan. Nilai yang valid: boolean, default: False.

Untuk informasi lebih lanjut tentang inferensi model pondasi, lihatMenyebarkan model pondasi yang tersedia untuk umum dengan kelas JumpStartModel.

Jika rekayasa cepat tidak cukup untuk menyesuaikan model fondasi Anda dengan kebutuhan bisnis tertentu, bahasa khusus domain, tugas target, atau persyaratan lainnya, Anda dapat mempertimbangkan untuk menyempurnakan model Anda pada data tambahan atau menggunakan Retrieval Augmented Generation (RAG) untuk menambah arsitektur model Anda dengan konteks yang ditingkatkan dari sumber pengetahuan yang diarsipkan. Untuk informasi selengkapnya, lihat Sempurnakan model pondasi atau Pengambilan Generasi Augmented.