Model pondasi yang menyempurnakan

Model dasar yang dapat Anda akses melalui Amazon SageMaker Canvas dapat membantu Anda dengan berbagai tugas tujuan umum. Namun, jika Anda memiliki kasus penggunaan tertentu dan ingin respons yang disesuaikan berdasarkan data Anda sendiri, Anda dapat menyempurnakan model fondasi.

Untuk menyempurnakan model pondasi, Anda menyediakan kumpulan data yang terdiri dari petunjuk sampel dan respons model. Kemudian, Anda melatih model pondasi pada data. Akhirnya, model pondasi yang disetel dengan baik dapat memberi Anda respons yang lebih spesifik.

Daftar berikut berisi model dasar yang dapat Anda sesuaikan di Canvas:

• Titan Ekspres

• Falcon-7B

• Instruksi Falcon-7B

• Instruksi Falcon-40B

• Falcon-40B

• Flan-T5-Besar

• Flan-T5-XL

• Flan-T5-Xxl

• MPT-7B

• MPT-7B-Instruksikan

Anda dapat mengakses informasi lebih rinci tentang setiap model pondasi dalam aplikasi Canvas sambil menyempurnakan model. Untuk informasi selengkapnya, lihat Sempurnakan modelnya.

Topik ini menjelaskan cara menyempurnakan model foundation di Canvas.

Sebelum Anda mulai

Sebelum menyempurnakan model foundation, pastikan Anda memiliki izin untuk Ready-to-use model di Canvas dan peran AWS Identity and Access Management eksekusi yang memiliki hubungan kepercayaan dengan Amazon Bedrock, yang memungkinkan Amazon Bedrock untuk mengambil peran Anda sambil menyempurnakan model foundation.

Saat menyiapkan atau mengedit SageMaker domain Amazon, Anda harus 1) mengaktifkan izin konfigurasi Ready-to-use model Canvas, dan 2) membuat atau menentukan peran Amazon Bedrock, yang merupakan peran IAM eksekusi yang SageMaker melampirkan hubungan kepercayaan dengan Amazon Bedrock. Untuk informasi selengkapnya tentang mengonfigurasi setelan ini, lihatPrasyarat untuk menyiapkan Amazon Canvas SageMaker .

Anda dapat mengonfigurasi peran Amazon Bedrock secara manual jika Anda lebih suka menggunakan peran IAM eksekusi Anda sendiri (daripada membiarkan SageMaker membuatnya atas nama Anda). Untuk informasi selengkapnya tentang mengonfigurasi hubungan kepercayaan peran IAM eksekusi Anda sendiri dengan Amazon Bedrock, lihat. Berikan Izin Pengguna untuk Menggunakan Amazon Bedrock dan Fitur Generatif AI di Canvas

Anda juga harus memiliki kumpulan data yang diformat untuk menyempurnakan model bahasa besar (). LLMs Berikut ini adalah daftar persyaratan untuk dataset Anda:

• Dataset harus berbentuk tabel dan berisi setidaknya dua kolom data teks — satu kolom input (yang berisi contoh petunjuk ke model) dan satu kolom keluaran (yang berisi contoh respons dari model).

  Contohnya adalah sebagai berikut:

  Input	Output
  Apa persyaratan pengiriman Anda?	Kami menawarkan pengiriman gratis untuk semua pesanan di atas $50. Pesanan di bawah $50 memiliki biaya pengiriman $5.99.
  Bagaimana saya bisa mengembalikan barang?	Untuk mengembalikan barang, silakan kunjungi pusat pengembalian kami dan ikuti instruksinya. Anda harus memberikan nomor pesanan Anda dan alasan pengembalian.
  Saya mengalami masalah dengan produk saya. Apa yang bisa saya lakukan?	Silakan hubungi tim dukungan pelanggan kami dan kami akan dengan senang hati membantu Anda memecahkan masalah ini.

• Kami merekomendasikan bahwa kumpulan data memiliki setidaknya 100 pasangan teks (baris item input dan output yang sesuai). Ini memastikan bahwa model pondasi memiliki data yang cukup untuk fine-tuning dan meningkatkan akurasi responsnya.

• Setiap item input dan output harus berisi maksimal 512 karakter. Apa pun yang lebih lama dikurangi menjadi 512 karakter saat menyempurnakan model pondasi.

Saat menyempurnakan model Amazon Bedrock, Anda harus mematuhi kuota Amazon Bedrock. Untuk informasi selengkapnya, lihat Kuota penyesuaian model di Panduan Pengguna Amazon Bedrock.

Untuk informasi selengkapnya tentang persyaratan dan batasan kumpulan data umum di Canvas, lihatBuat kumpulan data.

Sempurnakan model pondasi

Anda dapat menyempurnakan model foundation dengan menggunakan salah satu metode berikut dalam aplikasi Canvas:

• Saat dalam Menghasilkan, mengekstrak, dan meringkas obrolan konten dengan model foundation, pilih ikon model Fine-tune ().

• Saat dalam obrolan dengan model foundation, jika Anda telah membuat ulang respons dua kali atau lebih, Canvas menawarkan opsi untuk menyempurnakan model. Tangkapan layar berikut menunjukkan kepada Anda seperti apa tampilannya.

  

• Pada halaman Model saya, Anda dapat membuat model baru dengan memilih Model baru, lalu pilih Fine-tune foundation model.

• Pada halaman beranda Ready-to-use model, Anda dapat memilih Buat model Anda sendiri, dan kemudian di kotak dialog Buat model baru, pilih Fine-tune foundation model.

• Saat menelusuri kumpulan data Anda di tab Data Wrangler, Anda dapat memilih kumpulan data dan memilih Buat model. Kemudian, pilih model foundation Fine-tune.

Setelah Anda mulai menyempurnakan model, lakukan hal berikut:

Pilih kumpulan data

Pada tab Select untuk menyempurnakan model, Anda memilih data yang ingin Anda latih model foundation.

Pilih kumpulan data yang ada atau buat kumpulan data baru yang memenuhi persyaratan yang tercantum di bagianSebelum Anda mulai. Untuk informasi selengkapnya tentang cara membuat kumpulan data, lihatBuat kumpulan data.

Ketika Anda telah memilih atau membuat kumpulan data dan Anda siap untuk melanjutkan, pilih Pilih kumpulan data.

Sempurnakan modelnya

Setelah memilih data Anda, Anda sekarang siap untuk memulai pelatihan dan menyempurnakan model.

Pada tab Fine-tune, lakukan hal berikut:

1. (Opsional) Pilih Pelajari lebih lanjut tentang model fondasi kami untuk mengakses informasi lebih lanjut tentang setiap model dan membantu Anda memutuskan model atau model fondasi mana yang akan diterapkan.

2. Untuk Pilih hingga 3 model dasar, buka menu tarik-turun dan periksa hingga 3 model dasar (hingga 2 JumpStart model dan 1 model Amazon Bedrock) yang ingin Anda sesuaikan selama pekerjaan pelatihan. Dengan menyempurnakan beberapa model foundation, Anda dapat membandingkan kinerjanya dan akhirnya memilih yang paling cocok untuk kasus penggunaan Anda sebagai model default. Untuk informasi selengkapnya tentang model default, lihatLihat kandidat model di papan peringkat model.

3. Untuk kolom Pilih Input, pilih kolom data teks dalam kumpulan data Anda yang berisi contoh petunjuk model.

4. Untuk kolom Select Output, pilih kolom data teks dalam kumpulan data Anda yang berisi contoh respons model.

5. (Opsional) Untuk mengonfigurasi pengaturan lanjutan untuk pekerjaan pelatihan, pilih Konfigurasi model. Untuk informasi selengkapnya tentang pengaturan pembuatan model lanjutan, lihatKonfigurasi bangunan model tingkat lanjut.

   Di jendela pop-up Configure model, lakukan hal berikut:

   1. Untuk Hyperparameters, Anda dapat menyesuaikan hitungan Epoch, Ukuran Batch, Learning rate, dan Learning rate warmup untuk setiap model yang Anda pilih. Untuk informasi selengkapnya tentang parameter ini, lihat bagian Hyperparameters dalam JumpStart dokumentasi.

   2. Untuk Pemisahan data, Anda dapat menentukan persentase cara membagi data antara set Pelatihan dan set Validasi.

   3. Untuk runtime pekerjaan Max, Anda dapat mengatur jumlah waktu maksimum Canvas menjalankan pekerjaan pembuatan. Fitur ini hanya tersedia untuk model JumpStart foundation.

   4. Setelah mengonfigurasi pengaturan, pilih Simpan.

6. Pilih Fine-tune untuk mulai melatih model fondasi yang Anda pilih.

Setelah pekerjaan fine-tuning dimulai, Anda dapat meninggalkan halaman. Saat model ditampilkan sebagai Siap di halaman Model Saya, model siap digunakan, dan sekarang Anda dapat menganalisis kinerja model fondasi yang disetel dengan baik.

Analisis model pondasi yang disetel dengan baik

Pada tab Analisis model pondasi yang disetel dengan baik, Anda dapat melihat kinerja model.

Tab Ikhtisar di halaman ini menunjukkan kepada Anda skor kebingungan dan kerugian, bersama dengan analisis yang memvisualisasikan peningkatan model dari waktu ke waktu selama pelatihan. Tangkapan layar berikut menunjukkan tab Ikhtisar.

Di halaman ini, Anda dapat melihat visualisasi berikut:

• Kurva kebingungan mengukur seberapa baik model memprediksi kata berikutnya secara berurutan, atau seberapa tata bahasa keluaran model tersebut. Idealnya, ketika model meningkat selama pelatihan, skor menurun dan menghasilkan kurva yang turun dan rata seiring waktu.

• Kurva Kerugian mengukur perbedaan antara output yang benar dan output yang diprediksi model. Kurva kerugian yang menurun dan rata dari waktu ke waktu menunjukkan bahwa model meningkatkan kemampuannya untuk membuat prediksi yang akurat.

Tab Metrik lanjutan menunjukkan hiperparameter dan metrik tambahan untuk model Anda. Sepertinya tangkapan layar berikut:

Tab Metrik lanjutan berisi informasi berikut:

• Bagian Explainability berisi Hyperparameters, yang merupakan nilai yang ditetapkan sebelum pekerjaan untuk memandu fine-tuning model. Jika Anda tidak menentukan hyperparameters kustom dalam pengaturan lanjutan model di Sempurnakan modelnya bagian, maka Canvas memilih hyperparameters default untuk Anda.

  Untuk JumpStart model, Anda juga dapat melihat metrik lanjutan ROUGE(Recall-Oriented Understudy for Gisting Evaluation), yang mengevaluasi kualitas ringkasan yang dihasilkan oleh model. Ini mengukur seberapa baik model dapat merangkum poin-poin utama dari suatu bagian.

• Bagian Artefak memberi Anda tautan ke artefak yang dihasilkan selama pekerjaan fine-tuning. Anda dapat mengakses data pelatihan dan validasi yang disimpan di Amazon S3, serta tautan ke laporan evaluasi model (untuk mempelajari lebih lanjut, lihat paragraf berikut).

Untuk mendapatkan lebih banyak wawasan evaluasi model, Anda dapat mengunduh laporan yang dihasilkan menggunakan SageMaker Clarify, yang merupakan fitur yang dapat membantu Anda mendeteksi bias dalam model dan data Anda. Pertama, buat laporan dengan memilih Hasilkan laporan evaluasi di bagian bawah halaman. Setelah laporan dibuat, Anda dapat mengunduh laporan lengkap dengan memilih Unduh laporan atau dengan kembali ke bagian Artefak.

Anda juga dapat mengakses notebook Jupyter yang menunjukkan cara mereplikasi pekerjaan fine-tuning Anda dalam kode Python. Anda dapat menggunakan ini untuk mereplikasi atau membuat perubahan terprogram pada pekerjaan fine-tuning Anda atau mendapatkan pemahaman yang lebih dalam tentang bagaimana Canvas menyempurnakan model Anda. Untuk mempelajari lebih lanjut tentang notebook model dan cara mengaksesnya, lihatUnduh notebook model.

Untuk informasi selengkapnya tentang cara menafsirkan informasi di tab Analisis model fondasi yang disetel dengan baik, lihat topiknya. Evaluasi model

Setelah menganalisis tab Gambaran Umum dan metrik lanjutan, Anda juga dapat memilih untuk membuka papan peringkat Model, yang menampilkan daftar model dasar yang dilatih selama pembuatan. Model dengan skor kerugian terendah dianggap sebagai model berkinerja terbaik dan dipilih sebagai model Default, yang merupakan model yang analisisnya Anda lihat di tab Analisis. Anda hanya dapat menguji dan menerapkan model default. Untuk informasi selengkapnya tentang papan peringkat model dan cara mengubah model default, lihat. Lihat kandidat model di papan peringkat model

Uji model foundation yang disetel dengan baik dalam obrolan

Setelah menganalisis kinerja model pondasi yang disetel dengan baik, Anda mungkin ingin mengujinya atau membandingkan responsnya dengan model dasar. Anda dapat menguji model foundation yang disetel dengan baik dalam obrolan di fitur Hasilkan, ekstrak, dan ringkaskan konten.

Mulai obrolan dengan model yang disetel dengan memilih salah satu metode berikut:

• Pada tab Analisis model yang disetel dengan baik, pilih Uji dalam Ready-to-use model dasar.

• Pada halaman Ready-to-use model Canvas, pilih Menghasilkan, mengekstrak, dan meringkas konten. Kemudian, pilih Obrolan baru dan pilih versi model yang ingin Anda uji.

Model dimulai dalam obrolan, dan Anda dapat berinteraksi dengannya seperti model dasar lainnya. Anda dapat menambahkan lebih banyak model ke obrolan dan membandingkan outputnya. Untuk informasi selengkapnya tentang fungsionalitas obrolan, lihatModel fondasi AI generatif di Kanvas SageMaker .

Operasionalkan model pondasi yang disetel dengan baik

Setelah menyempurnakan model Anda di Canvas, Anda dapat melakukan hal berikut:

• Daftarkan model ke registri SageMaker model untuk integrasi ke dalam MLOps proses organisasi Anda. Untuk informasi selengkapnya, lihat Daftarkan versi model di registri SageMaker model.

• Terapkan model ke SageMaker titik akhir dan kirim permintaan ke model dari aplikasi atau situs web Anda untuk mendapatkan prediksi (atau inferensi). Untuk informasi selengkapnya, lihat Menerapkan model Anda ke titik akhir.

penting

Anda hanya dapat mendaftarkan dan menerapkan model foundation fine-tuned JumpStart berbasis berbasis, bukan model berbasis Amazon Bedrock.