Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Penyebaran dan prediksi model autopilot
Setelah menyempurnakan model bahasa besar (LLM), Anda dapat menerapkan model untuk pembuatan teks real-time dengan menyiapkan titik akhir untuk mendapatkan prediksi interaktif.
catatan
Sebaiknya jalankan pekerjaan inferensi real-time ml.g5.12xlarge untuk kinerja yang lebih baik. Atau, ml.g5.8xlarge instance cocok untuk Falcon-7B-Instruct dan tugas pembuatan MPT-7B-Instruct teks.
Anda dapat menemukan spesifikasi instans ini dalam kategori
Real-time pembuatan teks
Anda dapat menggunakan SageMaker API untuk menerapkan model yang disesuaikan secara manual ke titik akhir inferensi real-time SageMaker AI Hosting, lalu mulai membuat prediksi dengan memanggil titik akhir sebagai berikut.
catatan
Atau, Anda dapat memilih opsi penerapan otomatis saat membuat eksperimen penyempurnaan Anda di Autopilot. Untuk informasi tentang pengaturan penyebaran otomatis model, lihatCara mengaktifkan penyebaran otomatis.
Anda juga dapat menggunakan SageMaker Python SDK dan ModelBuilder.from_jumpstart_config metode untuk melakukan kesimpulan dengan model yang disetel oleh Autopilot. Ini dapat dilakukan dengan menentukan lokasi khusus untuk artefak model di Amazon S3. Untuk informasi tentang mendefinisikan model Anda sebagai JumpStart model dan menerapkan model Anda untuk inferensi, lihat Low-code penerapan dengan kelas. ModelBuilder
-
Dapatkan definisi wadah inferensi kandidat
Anda dapat menemukan di
InferenceContainerDefinitionsdalamBestCandidateobjek yang diambil dari respons terhadap panggilan DescribeAutoMLJobV2 API. Definisi wadah untuk inferensi mengacu pada lingkungan kontainer yang dirancang untuk menerapkan dan menjalankan model terlatih Anda untuk membuat prediksi.Contoh AWS CLI perintah berikut menggunakan DescribeAutoMLJobV2 API untuk mendapatkan definisi kontainer yang direkomendasikan untuk nama pekerjaan Anda.
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-namejob-name--regionregion -
Buat model SageMaker AI
Gunakan definisi kontainer dari langkah sebelumnya untuk membuat model SageMaker AI dengan menggunakan CreateModel API. Lihat AWS CLI perintah berikut sebagai contoh. Gunakan
CandidateNameuntuk nama model Anda.aws sagemaker create-model --model-name '<your-candidate-name>' \ --primary-container '<container-definition' \ --execution-role-arn '<execution-role-arn>' --region '<region> -
Membuat konfigurasi titik akhir
Contoh AWS CLI perintah berikut menggunakan CreateEndpointConfig API untuk membuat konfigurasi titik akhir.
catatan
Untuk mencegah waktu pembuatan titik akhir habis karena unduhan model yang panjang, kami sarankan untuk mengatur
ModelDataDownloadTimeoutInSeconds = 3600danContainerStartupHealthCheckTimeoutInSeconds = 3600.aws sagemaker create-endpoint-config --endpoint-config-name '<your-endpoint-config-name>' \ --production-variants '<list-of-production-variants>' ModelDataDownloadTimeoutInSeconds=3600 ContainerStartupHealthCheckTimeoutInSeconds=3600 \ --region '<region>' -
Buat titik akhir
AWS CLI Contoh berikut menggunakan CreateEndpoint API untuk membuat endpoint.
aws sagemaker create-endpoint --endpoint-name '<your-endpoint-name>' \ --endpoint-config-name '<endpoint-config-name-you-just-created>' \ --region '<region>'Periksa kemajuan penerapan titik akhir Anda dengan menggunakan DescribeEndpoint API. Lihat AWS CLI perintah berikut sebagai contoh.
aws sagemaker describe-endpoint —endpoint-name '<endpoint-name>' —region<region>Setelah
EndpointStatusperubahan keInService, titik akhir siap digunakan untuk inferensi real-time. -
Memanggil titik akhir
Perintah berikut memanggil titik akhir untuk inferensi real-time. Prompt Anda perlu dikodekan dalam byte.
catatan
Format prompt input Anda tergantung pada model bahasa. Untuk informasi selengkapnya tentang format prompt pembuatan teks, lihatFormat permintaan untuk model pembuatan teks inferensi real-time.
aws sagemaker invoke-endpoint --endpoint-name '<endpoint-name>' \ --region '<region>' --body '<your-promt-in-bytes>' [--content-type] 'application/json'<outfile>
Format permintaan untuk model pembuatan teks inferensi real-time
Model bahasa besar (LLM) yang berbeda mungkin memiliki dependensi perangkat lunak tertentu, lingkungan runtime, dan persyaratan perangkat keras yang mempengaruhi wadah yang direkomendasikan Autopilot untuk meng-host model untuk inferensi. Selain itu, setiap model menentukan format data input yang diperlukan dan format yang diharapkan untuk prediksi dan output.
Berikut adalah contoh input untuk beberapa model dan wadah yang direkomendasikan.
-
Untuk model Falcon dengan wadah yang direkomendasikan
huggingface-pytorch-tgi-inference:2.0.1-tgi1.0.3-gpu-py39-cu118-ubuntu20.04:payload = { "inputs": "Large language model fine-tuning is defined as", "parameters": { "do_sample": false, "top_p": 0.9, "temperature": 0.1, "max_new_tokens": 128, "stop": ["<|endoftext|>", "</s>"] } } -
Untuk semua model lain dengan wadah yang disarankan
djl-inference:0.22.1-fastertransformer5.3.0-cu118:payload= { "text_inputs": "Large language model fine-tuning is defined as" }