4. Pipa dan promosi yang kuat

Pipelines menyediakan banyak pilihan untuk tuning hyperparameter, AutoML, dan rutinitas pemrosesan. Pipa dicatat dari ujung ke ujung. Pipeline yang kuat dapat menjalankan pelatihan secara paralel di beberapa instance dan kerangka kerja, menskalakan ukuran beban sesuai kebutuhan. Pipa yang kuat dapat mempromosikan model ke dalam produksi, digunakan secara real-time, streaming, dan batch. Penerapan ini dapat mendukung inferensi model tunggal atau multi-model.

4.1 Pelatihan skala besar dan terdistribusi	Sistem ML yang matang mendukung kemampuan untuk menjalankan pelatihan pada instans besar yang dioptimalkan komputasi secara paralel. Ini memiliki perkakas di tempat untuk membantu memastikan bahwa sumber daya ini sepenuhnya digunakan dan bahwa skala pelatihan merata di seluruh cluster komputasi.
4.2 Support untuk beberapa kerangka kerja	Pengembang dapat mem-port kerangka kerja platform yang berbeda, seperti PyTorch atau Flax, untuk menjalankan pekerjaan pelatihan dan inferensi. Demikian juga, berbagai bahasa dan versi didukung dan dapat digunakan. Beralih ke kerangka kerja lain tidak akan merusak sistem.
4.3 Penyetelan hiperparameter	Langkah penyetelan hyperparameter adalah bagian dari jalur pelatihan. Model yang digunakan memiliki hyperparameternya yang disetel. Beberapa opsi tersedia untuk menyetel hyperparameters. Untuk peningkatan akurasi, setidaknya salah satu opsi penyetelan harus memiliki inferensi atau pendekatan Bayesian.
4.4 Opsi AutoML	Untuk mengurangi eksperimen dan perbandingan manual, sistem MS yang matang mendukung menjalankan AutoML, yang secara otomatis memilih pipeline fitur, hyperparameters, dan model terbaik. Perhatikan bahwa AutoML adalah fitur untuk digunakan secara pragmatis, tetapi ini bukan obat mujarab.
4.5 Dukungan inferensi: waktu nyata	Ini biasa disebut model as a service (MaaS). Sistem ini mendukung inferensi real-time dengan operasi REST API, untuk permintaan inferensi sesuai permintaan. Ini mampu mengirimkan infrastruktur MaaS di mana model dapat menskalakan baik secara horizontal maupun vertikal sebagai API mandiri atau sebagai titik akhir yang terkait dengan aplikasi lain. Atau, dimungkinkan untuk menerapkan dengan menggunakan teknologi tanpa server.
4.6 Dukungan inferensi: streaming	Model dapat dipromosikan ke format inferensi real-time seperti Amazon Kinesis atau Amazon Managed Streaming untuk Apache Kafka Kafka, di mana inferensi dijalankan dalam mode streaming pada model. Ini membutuhkan setidaknya 90 persen dari daftar periksa untuk lengkap, karena pagar pembatas, observabilitas, dan pemantauan sangat penting untuk inferensi waktu nyata.
4.7 Dukungan inferensi: batch	Sistem ini mendukung penyebaran model secara batch sebagai pekerjaan yang dijadwalkan atau dimulai. Sistem dapat menjalankan model sebagai bagian dari proses ekstrak, transformasi, dan beban (ETL) atau secara terpisah. Pekerjaan batch merekam status dari setiap langkah dan dijalankan dalam pola berurutan, seperti grafik asiklik terarah. Atau, pekerjaan dapat menulis ke database, yang bertindak sebagai server inferensi model.
4.8 Rutinitas pra-pemrosesan dan pasca-pemrosesan	Bila diperlukan, data difungsikan sebagai bagian dari proses asupan model atau pekerjaan batch. Jika ada beberapa model atau beberapa langkah yang berperan, rutinitas pasca-pemrosesan menangani fitur data.
4.9 Kemampuan untuk memanggil model hierarkis atau simultan	Sistem ML dapat menyebarkan banyak model bersama-sama atau menjalankannya secara berurutan. Yang pertama berarti hosting pada titik akhir model tunggal di seluruh armada sumber daya. Yang terakhir menyiratkan bahwa beberapa model perlu berjalan dengan cara yang dirantai satu demi satu. Sistem dapat menangani kedua jenis kompleksitas ini dengan tangguh.
4.10 Strategi penskalaan horisontal dan vertikal	Pipeline harus memiliki kemampuan untuk mendukung kedua jenis strategi penskalaan untuk pelatihan dan inferensi. Sistem ML dapat meningkatkan ukurannya dan mendistribusikan lalu lintas di beberapa mesin ketika latensi atau throughput meningkat. Kebijakan untuk jenis perilaku ini ditetapkan, dan mereka mempertimbangkan alokasi sumber daya yang optimal.
4.11 penebangan End-to-end	Tim pengembangan harus mengatur logging di dalam semua kode pipeline sehingga logging dapat menangkap input, output, dan langkah perantara dalam sistem. Logging harus mendukung proses penelusuran di pipeline dan kesalahan debugging.