Impor model yang disesuaikan ke Amazon Bedrock - Amazon Bedrock
Arsitektur yang didukungImpor sumberMengimpor model

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Impor model yang disesuaikan ke Amazon Bedrock

Impor Model Kustom dalam rilis pratinjau untuk Amazon Bedrock dan dapat berubah sewaktu-waktu.

Anda dapat membuat model kustom di Amazon Bedrock dengan menggunakan fitur Impor Model Kustom untuk mengimpor Model Foundation yang telah Anda sesuaikan di lingkungan lain, seperti Amazon SageMaker. Misalnya, Anda mungkin memiliki model yang telah Anda buat di Amazon SageMaker yang memiliki bobot model eksklusif. Anda sekarang dapat mengimpor model itu ke Amazon Bedrock dan kemudian memanfaatkan fitur Amazon Bedrock untuk melakukan panggilan inferensi ke model.

Anda dapat menggunakan model yang Anda impor dengan throughput sesuai permintaan. Gunakan InvokeModelWithResponseStreamoperasi InvokeModelor untuk membuat panggilan inferensi ke model. Untuk informasi selengkapnya, lihat Kirim satu prompt dengan InvokeModel API operasi.

catatan

Untuk rilis pratinjau, Impor Model Kustom hanya tersedia di AWS Wilayah AS Timur (Virginia N.) dan AS Barat (Oregon). Anda tidak dapat menggunakan Impor Model Kustom dengan fitur Amazon Bedrock berikut.

  • Agen Bedrock Amazon

  • Basis Pengetahuan Amazon Bedrock

  • Pagar Batuan Dasar Amazon

  • Inferensi Batch

  • AWS CloudFormation

Sebelum Anda dapat menggunakan Impor Model Kustom, Anda harus terlebih dahulu meminta kenaikan kuota untuk Imported models per account kuota. Untuk informasi selengkapnya, lihat Meminta peningkatan kuota.

Dengan Impor Model Kustom Anda dapat membuat model kustom yang mendukung pola berikut.

  • Model Pra-pelatihan yang disetel dengan baik atau Lanjutan — Anda dapat menyesuaikan bobot model menggunakan data eksklusif, tetapi mempertahankan konfigurasi model dasar.

  • Adaptasi Anda dapat menyesuaikan model ke domain Anda untuk kasus penggunaan di mana model tidak digeneralisasi dengan baik. Adaptasi domain memodifikasi model untuk menggeneralisasi domain target dan menangani perbedaan di seluruh domain, seperti industri keuangan yang ingin membuat model yang menggeneralisasi harga dengan baik. Contoh lain adalah adaptasi bahasa. Misalnya Anda dapat menyesuaikan model untuk menghasilkan tanggapan dalam bahasa Portugis atau Tamil. Paling sering, ini melibatkan perubahan pada kosakata model yang Anda gunakan.

  • Dilatih sebelumnya dari awal — Selain menyesuaikan bobot dan kosakata model, Anda juga dapat mengubah parameter konfigurasi model seperti jumlah kepala perhatian, lapisan tersembunyi, atau panjang konteks.

Arsitektur yang didukung

Model yang Anda impor harus dalam salah satu arsitektur berikut.

  • Mistral- Arsitektur berbasis Transformer khusus decoder dengan Sliding Window Attention (SWA) dan opsi untuk Grouped Query Attention (). GQA Untuk informasi selengkapnya, silakan lihat Mistral dalam dokumentasi Hugging Face.

  • Flan — Versi arsitektur T5 yang disempurnakan, model transformator berbasis encoder-decoder. Untuk informasi selengkapnya, silakan lihat Flan T5dalam dokumentasi Hugging Face.

  • Llama 2 and Llama3— Versi yang lebih baik dari Llama dengan Grouped Query Attention (GQA). Untuk informasi lebih lanjut, lihat Llama 2 dan Llama 3dalam dokumentasi Hugging Face.

Impor sumber

Anda mengimpor model ke Amazon Bedrock dengan membuat pekerjaan impor model di konsol Amazon Bedrock. Dalam pekerjaan Anda menentukan Amazon S3 URI untuk sumber file model. Atau, jika Anda membuat model di Amazon SageMaker, Anda dapat menentukan SageMaker model. Selama pelatihan model, pekerjaan impor secara otomatis mendeteksi arsitektur model Anda.

Jika Anda mengimpor dari bucket Amazon S3, Anda perlu menyediakan file model di Hugging Face format bobot. Anda dapat membuat file dengan menggunakan pustaka transformator Hugging Face. Untuk membuat file model untuk Llama model, lihat convert_llama_weights_to_hf.py. Untuk membuat file untuk Mistral AI model, lihat convert_mistral_weights_to_hf.py.

Untuk mengimpor model dari Amazon S3, Anda minimal memerlukan file berikut yang dibuat oleh library transformator Hugging Face.

  • .safetensor — bobot model dalam format Safetensor. Safetensors adalah format yang dibuat oleh Hugging Face yang menyimpan bobot model sebagai tensor. Anda harus menyimpan tensor untuk model Anda dalam file dengan ekstensi. .safetensors Untuk informasi lebih lanjut, lihat Safetensors. Untuk informasi tentang mengonversi bobot model ke format Safetensor, lihat Mengonversi bobot menjadi pengaman.

    catatan

    • Saat ini, Amazon Bedrock hanya mendukung bobot model denganFP32,FP16, dan BF16 presisi. Amazon Bedrock akan menolak bobot model jika Anda menyediakannya dengan presisi lain. Secara internal Amazon Bedrock akan mengubah FP32 model menjadi presisi. BF16

    • Amazon Bedrock tidak mendukung impor model terkuantisasi.

  • config.json — Sebagai contoh, lihat dan. LlamaConfigMistralConfig

  • tokenizer_config.json — Sebagai contoh, lihat. LlamaTokenizer

  • tokenizer.json

  • tokenizer.model

Mengimpor model

Prosedur berikut menunjukkan cara membuat model kustom dengan mengimpor model yang telah Anda sesuaikan. Pekerjaan impor model dapat memakan waktu beberapa menit. Selama pekerjaan impor, Amazon Bedrock memvalidasi bahwa model menggunakan arsitektur model yang kompatibel.

Untuk mengirimkan pekerjaan impor model, lakukan langkah-langkah berikut.

  1. Minta kenaikan kuota untuk Imported models per account kuota. Untuk informasi selengkapnya, lihat Meminta peningkatan kuota.

  2. Jika Anda mengimpor file model dari Amazon S3, konversikan model ke Hugging Face format.

    1. Jika model Anda adalah Mistral AI model, gunakan convert_mistral_weights_to_hf.py.

    2. Jika model Anda adalah Llama model, lihat convert_llama_weights_to_hf.py.

    3. Unggah file model ke bucket Amazon S3 di akun Anda AWS . Untuk informasi selengkapnya, lihat Mengunggah objek ke bucket Anda.

  3. Masuk ke AWS Management Console menggunakan IAMperan dengan izin Amazon Bedrock, dan buka konsol Amazon Bedrock di. https://console.aws.amazon.com/bedrock/

  4. Pilih Model yang diimpor di bawah model Foundation dari panel navigasi kiri.

  5. Pilih tab Model.

  6. Pilih model Impor.

  7. Di tab Imported, pilih Impor model untuk membuka halaman model Impor.

  8. Di bagian Detail model, lakukan hal berikut:

    1. Dalam nama Model masukkan nama untuk model.

    2. (Opsional) Untuk mengaitkan tag dengan model, perluas bagian Tag dan pilih Tambahkan tag baru.

  9. Di bagian Impor nama pekerjaan, lakukan hal berikut:

    1. Di Nama Job masukkan nama untuk pekerjaan impor model.

    2. (Opsional) Untuk mengaitkan tag dengan model khusus, perluas bagian Tag dan pilih Tambahkan tag baru.

  10. Di Pengaturan impor model, pilih opsi impor yang ingin Anda gunakan.

    • Jika Anda mengimpor file model dari bucket Amazon S3, pilih bucket Amazon S3 dan masukkan lokasi Amazon S3 di lokasi S3. Secara opsional, Anda dapat memilih Browse S3 untuk memilih lokasi file.

    • Jika Anda mengimpor model Anda dari Amazon SageMaker, pilih SageMaker model Amazon dan kemudian pilih SageMaker model yang ingin Anda impor dalam SageMaker model.

  11. Di bagian Akses layanan, pilih salah satu dari berikut ini:

    • Membuat dan menggunakan peran layanan baru — Masukkan nama untuk peran layanan.

    • Gunakan peran layanan yang ada — Pilih peran layanan dari daftar drop-down. Untuk melihat izin yang dibutuhkan peran layanan yang ada, pilih Lihat detail izin.

      Untuk informasi selengkapnya tentang menyiapkan peran layanan dengan izin yang sesuai, lihatBuat peran layanan untuk impor model.

  12. Pilih Impor.

  13. Pada halaman Custom models, pilih Imported.

  14. Di bagian Pekerjaan, periksa status pekerjaan impor. Nama model yang Anda pilih mengidentifikasi pekerjaan impor model. Pekerjaan selesai jika nilai Status untuk model Selesai.

  15. Dapatkan ID model untuk model Anda dengan melakukan hal berikut.

    1. Pada halaman Model yang diimpor, pilih tab Model.

    2. Salin ARN untuk model yang ingin Anda gunakan dari ARNkolom.

  16. Gunakan model Anda untuk panggilan inferensi. Untuk informasi selengkapnya, lihat Kirim satu prompt dengan InvokeModel API operasi. Anda dapat menggunakan model dengan throughput sesuai permintaan.

    Anda juga dapat menggunakan model Anda di taman bermain teks Amazon Bedrock.