Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Model host bersama dengan logika pra-pemrosesan sebagai pipa inferensi serial di belakang satu titik akhir
Pipa inferensi adalah SageMaker model Amazon yang terdiri dari urutan linier dua hingga lima belas kontainer yang memproses permintaan inferensi pada data. Anda menggunakan pipeline inferensi untuk menentukan dan menerapkan kombinasi algoritme SageMaker bawaan yang telah dilatih sebelumnya dan algoritme kustom Anda sendiri yang dikemas dalam wadah Docker. Anda dapat menggunakan pipa inferensi untuk menggabungkan tugas ilmu data pra-pemrosesan, prediksi, dan pasca-pemrosesan. Pipa inferensi dikelola sepenuhnya.
Anda dapat menambahkan SageMaker Spark ML Serving dan scikit-learn container yang menggunakan kembali transformator data yang dikembangkan untuk model pelatihan. Seluruh pipa inferensi rakitan dapat dianggap sebagai SageMaker model yang dapat Anda gunakan untuk membuat prediksi waktu nyata atau untuk memproses transformasi batch secara langsung tanpa pra-pemrosesan eksternal.
Dalam model pipeline inferensi, SageMaker menangani pemanggilan sebagai urutan permintaan HTTP. Wadah pertama dalam pipa menangani permintaan awal, kemudian respons perantara dikirim sebagai permintaan ke wadah kedua, dan seterusnya, untuk setiap kontainer dalam pipa. SageMaker mengembalikan respon akhir kepada klien.
Saat Anda menerapkan model pipeline, SageMaker menginstal dan menjalankan semua container di setiap instans Amazon Elastic Compute Cloud (Amazon EC2) di titik akhir atau tugas transformasi. Pemrosesan fitur dan inferensi berjalan dengan latensi rendah karena kontainer ditempatkan bersama pada instans EC2 yang sama. Anda menentukan kontainer untuk model pipa menggunakan CreateModeloperasi atau dari konsol. Alih-alih menyetelnyaPrimaryContainer, Anda menggunakan Containers parameter untuk mengatur wadah yang membentuk pipa. Anda juga menentukan urutan di mana kontainer dijalankan.
Model pipeline tidak dapat diubah, tetapi Anda dapat memperbarui pipeline inferensi dengan menerapkan yang baru menggunakan operasi. UpdateEndpoint Modularitas ini mendukung fleksibilitas yang lebih besar selama eksperimen.
Untuk informasi tentang cara membuat pipeline inferensi dengan registri SageMaker model, lihatDaftarkan dan Terapkan Model dengan Registri Model.
Tidak ada biaya tambahan untuk menggunakan fitur ini. Anda hanya membayar untuk instance yang berjalan pada titik akhir.
Topik
Contoh Notebook untuk Pipa Inferensi
Untuk contoh yang menunjukkan cara membuat dan menerapkan pipeline inferensi, lihat contoh notebook Inference Pipeline with Scikit-learn dan Linear
Untuk melihat daftar semua SageMaker sampel, setelah membuat dan membuka instance notebook, pilih tab SageMaker Contoh. Ada tiga notebook pipa inferensi. Dua notebook pipa inferensi pertama yang baru saja dijelaskan terletak di advanced_functionality folder dan notebook ketiga ada di foldersagemaker-python-sdk. Untuk membuka buku catatan, pilih tab Use, lalu pilih Buat salinan.
