View a markdown version of this page

Penyebaran dan prediksi model autopilot - Amazon SageMaker AI

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Penyebaran dan prediksi model autopilot

Setelah menyempurnakan model bahasa besar (LLM), Anda dapat menerapkan model untuk pembuatan teks real-time dengan menyiapkan titik akhir untuk mendapatkan prediksi interaktif.

catatan

Sebaiknya jalankan pekerjaan inferensi real-time ml.g5.12xlarge untuk kinerja yang lebih baik. Atau, ml.g5.8xlarge instance cocok untuk Falcon-7B-Instruct dan tugas pembuatan MPT-7B-Instruct teks.

Anda dapat menemukan spesifikasi instans ini dalam kategori Accelerated Computing dalam pemilihan jenis instans yang disediakan oleh Amazon EC2.

Real-time pembuatan teks

Anda dapat menggunakan SageMaker API untuk menerapkan model yang disesuaikan secara manual ke titik akhir inferensi real-time SageMaker AI Hosting, lalu mulai membuat prediksi dengan memanggil titik akhir sebagai berikut.

catatan

Atau, Anda dapat memilih opsi penerapan otomatis saat membuat eksperimen penyempurnaan Anda di Autopilot. Untuk informasi tentang pengaturan penyebaran otomatis model, lihatCara mengaktifkan penyebaran otomatis.

Anda juga dapat menggunakan SageMaker Python SDK dan ModelBuilder.from_jumpstart_config metode untuk melakukan kesimpulan dengan model yang disetel oleh Autopilot. Ini dapat dilakukan dengan menentukan lokasi khusus untuk artefak model di Amazon S3. Untuk informasi tentang mendefinisikan model Anda sebagai JumpStart model dan menerapkan model Anda untuk inferensi, lihat Low-code penerapan dengan kelas. ModelBuilder

  1. Dapatkan definisi wadah inferensi kandidat

    Anda dapat menemukan di InferenceContainerDefinitions dalam BestCandidate objek yang diambil dari respons terhadap panggilan DescribeAutoMLJobV2 API. Definisi wadah untuk inferensi mengacu pada lingkungan kontainer yang dirancang untuk menerapkan dan menjalankan model terlatih Anda untuk membuat prediksi.

    Contoh AWS CLI perintah berikut menggunakan DescribeAutoMLJobV2 API untuk mendapatkan definisi kontainer yang direkomendasikan untuk nama pekerjaan Anda.

    aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region
  2. Buat model SageMaker AI

    Gunakan definisi kontainer dari langkah sebelumnya untuk membuat model SageMaker AI dengan menggunakan CreateModel API. Lihat AWS CLI perintah berikut sebagai contoh. Gunakan CandidateName untuk nama model Anda.

    aws sagemaker create-model --model-name '<your-candidate-name>' \ --primary-container '<container-definition' \ --execution-role-arn '<execution-role-arn>' --region '<region>
  3. Membuat konfigurasi titik akhir

    Contoh AWS CLI perintah berikut menggunakan CreateEndpointConfig API untuk membuat konfigurasi titik akhir.

    catatan

    Untuk mencegah waktu pembuatan titik akhir habis karena unduhan model yang panjang, kami sarankan untuk mengatur ModelDataDownloadTimeoutInSeconds = 3600 danContainerStartupHealthCheckTimeoutInSeconds = 3600.

    aws sagemaker create-endpoint-config --endpoint-config-name '<your-endpoint-config-name>' \ --production-variants '<list-of-production-variants>' ModelDataDownloadTimeoutInSeconds=3600 ContainerStartupHealthCheckTimeoutInSeconds=3600 \ --region '<region>'
  4. Buat titik akhir

    AWS CLI Contoh berikut menggunakan CreateEndpoint API untuk membuat endpoint.

    aws sagemaker create-endpoint --endpoint-name '<your-endpoint-name>' \ --endpoint-config-name '<endpoint-config-name-you-just-created>' \ --region '<region>'

    Periksa kemajuan penerapan titik akhir Anda dengan menggunakan DescribeEndpoint API. Lihat AWS CLI perintah berikut sebagai contoh.

    aws sagemaker describe-endpoint —endpoint-name '<endpoint-name>' —region <region>

    Setelah EndpointStatus perubahan keInService, titik akhir siap digunakan untuk inferensi real-time.

  5. Memanggil titik akhir

    Perintah berikut memanggil titik akhir untuk inferensi real-time. Prompt Anda perlu dikodekan dalam byte.

    catatan

    Format prompt input Anda tergantung pada model bahasa. Untuk informasi selengkapnya tentang format prompt pembuatan teks, lihatFormat permintaan untuk model pembuatan teks inferensi real-time.

    aws sagemaker invoke-endpoint --endpoint-name '<endpoint-name>' \ --region '<region>' --body '<your-promt-in-bytes>' [--content-type] 'application/json' <outfile>

Format permintaan untuk model pembuatan teks inferensi real-time

Model bahasa besar (LLM) yang berbeda mungkin memiliki dependensi perangkat lunak tertentu, lingkungan runtime, dan persyaratan perangkat keras yang mempengaruhi wadah yang direkomendasikan Autopilot untuk meng-host model untuk inferensi. Selain itu, setiap model menentukan format data input yang diperlukan dan format yang diharapkan untuk prediksi dan output.

Berikut adalah contoh input untuk beberapa model dan wadah yang direkomendasikan.

  • Untuk model Falcon dengan wadah yang direkomendasikanhuggingface-pytorch-tgi-inference:2.0.1-tgi1.0.3-gpu-py39-cu118-ubuntu20.04:

    payload = { "inputs": "Large language model fine-tuning is defined as", "parameters": { "do_sample": false, "top_p": 0.9, "temperature": 0.1, "max_new_tokens": 128, "stop": ["<|endoftext|>", "</s>"] } }
  • Untuk semua model lain dengan wadah yang disarankandjl-inference:0.22.1-fastertransformer5.3.0-cu118:

    payload= { "text_inputs": "Large language model fine-tuning is defined as" }