Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
4. Jaringan pipa dan promosi yang kuat
Pipelines menyediakan banyak pilihan untuk penyetelan hyperparameter, AutoKL, dan rutinitas pemrosesan. Saluran pipa dicatat dari ujung ke ujung. Pipeline yang kuat dapat menjalankan pelatihan secara paralel di beberapa instans dan kerangka kerja, mengukur ukuran beban sesuai kebutuhan. Jaringan pipa yang kuat dapat mempromosikan model ke dalam produksi, menyebarkan secara real-time, streaming, dan batch. Penyebaran ini dapat mendukung inferensi model tunggal atau multi-model.
4.1 Pelatihan skala besar dan terdistribusi |
Sistem MS yang matang mendukung kemampuan untuk menjalankan pelatihan pada instans yang dioptimalkan komputasi besar secara paralel. Ini memiliki perkakas di tempat untuk membantu memastikan bahwa sumber daya ini sepenuhnya digunakan dan bahwa skala pelatihan merata di seluruh klaster komputasi. |
4.2 Dukungan untuk beberapa kerangka kerja |
Pengembang dapat mem-port kerangka kerja platform yang berbeda, sepertiPyTorchatau Flax, untuk menjalankan pekerjaan pelatihan dan inferensi. Demikian juga, berbagai bahasa dan versi didukung dan dapat digunakan. Beralih ke kerangka kerja lain tidak akan merusak sistem. |
4.3 Penyetelan hiperparameter |
Langkah penyetelan hyperparameter adalah bagian dari pipeline pelatihan. Model yang dikerahkan telah disetel hyperparameternya. Beberapa opsi tersedia untuk menyetel hyperparameter. Untuk peningkatan akurasi, setidaknya satu opsi penyetelan harus memiliki kesimpulan atau pendekatan Bayesian. |
4.4 Opsi AutoKL |
Untuk mengurangi eksperimen dan perbandingan manual, sistem mL yang matang mendukung menjalankan AutoKL, yang secara otomatis memilih pipeline fitur, hyperparameter, dan model terbaik. Perhatikan bahwa AutoKL adalah fitur untuk digunakan secara pragmatis, tetapi ini bukan obat mujarab. |
4.5 Dukungan inferensi: waktu nyata |
Ini biasa disebut model sebagai layanan (MaaS). Sistem ini mendukung inferensi real-time dengan operasi REST API, untuk permintaan inferensi sesuai permintaan. Ini dapat mengirimkan infrastruktur MaaS di mana model dapat menskalakan baik secara horizontal maupun vertikal sebagai API mandiri atau sebagai titik akhir yang terkait dengan aplikasi lain. Atau, dimungkinkan untuk menyebarkan dengan menggunakan teknologi tanpa server. |
4.6 Dukungan inferensi: streaming |
Model dapat dipromosikan ke format inferensi real-time seperti Amazon Kinesis atau Amazon Managed Streaming untuk Apache Kafka, di mana inferensi dijalankan dalam mode streaming pada model. Ini membutuhkan setidaknya 90 persen daftar periksa untuk lengkap, karena pagar pembatas, observabilitas, dan pemantauan sangat penting untuk inferensi waktu nyata. |
4.7 Dukungan inferensi: batch |
Sistem ini mendukung penyebaran batch model sebagai pekerjaan yang dijadwalkan atau dimulai. Sistem ini dapat menjalankan model sebagai bagian dari ekstrak, transformasi, dan beban (ETL) proses atau dalam isolasi. Pekerjaan batch mencatat status dari setiap langkah dan berjalan dalam pola yang diurutkan, seperti grafik asiklik yang diarahkan. Atau, pekerjaan dapat menulis ke database, yang bertindak sebagai server inferensi model. |
4.8 Rutinitas preprocessing dan pasca-pemrosesan |
Bila diperlukan, data featurized sebagai bagian dari proses intake model atau pekerjaan batch. Jika ada beberapa model atau beberapa langkah yang dimainkan, rutinitas pasca-pemrosesan menangani fitur data. |
4.9 Kemampuan untuk memanggil model hirarkis atau simultan |
Sistem ML dapat menyebarkan banyak model bersama-sama atau menjalankannya secara berurutan. Yang pertama berarti hosting pada titik akhir model tunggal di seluruh armada sumber daya. Yang terakhir menyiratkan bahwa beberapa model perlu dijalankan dengan cara yang dirantai satu demi satu. Sistem ini dapat menangani kedua jenis kompleksitas ini dengan tangguh. |
4.10 Strategi penskalaan horizontal dan vertikal |
Pipa harus memiliki kemampuan untuk mendukung kedua jenis strategi penskalaan untuk pelatihan dan inferensi. Sistem ML dapat meningkatkan ukurannya dan mendistribusikan lalu lintas di beberapa alat berat ketika latensi atau throughput meningkat. Kebijakan untuk jenis perilaku ini ditetapkan, dan mereka mempertimbangkan alokasi sumber daya yang optimal. |
4.11 Pencatatan ujung ke ujung |
Tim pengembangan harus memiliki logging diatur dalam semua kode pipa sehingga logging dapat menangkap input, output, dan langkah-langkah menengah dalam sistem. Logging harus mendukung pelacakan berjalan di pipeline dan kesalahan debugging. |