Penerapan dan otomatisasi

Pertanyaan	Contoh respon
Apa persyaratan untuk penskalaan dan penyeimbangan beban?	Perutean permintaan cerdas; sistem penskalaan otomatis; mengoptimalkan awal dingin yang cepat dengan menggunakan teknik seperti caching model, pemuatan lambat, dan sistem penyimpanan terdistribusi; merancang sistem untuk menangani pola lalu lintas yang meledak dan tidak dapat diprediksi.
Apa persyaratan untuk memperbarui dan meluncurkan versi baru?	Penerapan biru/hijau, rilis kenari, pembaruan bergulir, dan sebagainya.
Apa persyaratan untuk pemulihan bencana dan kelangsungan bisnis?	Prosedur pencadangan dan pemulihan, mekanisme failover, konfigurasi ketersediaan tinggi, dan sebagainya.
Apa persyaratan untuk mengotomatiskan pelatihan, penyebaran, dan manajemen model AI generatif?	Pipa pelatihan otomatis, penerapan berkelanjutan, penskalaan otomatis, dan sebagainya.
Bagaimana model AI generatif akan diperbarui dan dilatih ulang saat data baru tersedia?	Melalui pelatihan ulang berkala, pembelajaran inkremental, pembelajaran transfer, dan sebagainya.
Apa persyaratan untuk mengotomatisasi pemantauan dan manajemen?	Peringatan otomatis, penskalaan otomatis, penyembuhan diri, dan sebagainya.
Apa lingkungan penerapan pilihan Anda untuk beban kerja AI generatif?	Pendekatan hybrid yang menggunakan AWS untuk pelatihan model dan infrastruktur lokal kami untuk inferensi guna memenuhi persyaratan residensi data.
Apakah ada platform cloud khusus yang Anda sukai untuk penerapan AI generatif?	Layanan AWS, khususnya Amazon SageMaker AI untuk pengembangan dan penerapan model, dan Amazon Bedrock untuk model pondasi.
Teknologi kontainerisasi apa yang Anda pertimbangkan untuk beban kerja AI generatif?	Kami ingin melakukan standarisasi pada kontainer Docker yang diatur dengan Kubernetes untuk memastikan portabilitas dan skalabilitas di seluruh lingkungan hybrid kami.
Apakah Anda memiliki alat pilihan untuk CI/CD di saluran AI generatif Anda?	GitLab untuk kontrol versi dan pipa CI/CD, terintegrasi dengan Jenkins untuk pengujian dan penerapan otomatis.
Alat orkestrasi apa yang Anda pertimbangkan untuk mengelola alur kerja AI generatif?	Apache Airflow untuk orkestrasi alur kerja, terutama untuk pra-pemrosesan data dan jalur pelatihan model.
Apakah Anda memiliki persyaratan khusus untuk infrastruktur lokal untuk mendukung beban kerja AI generatif?	Kami berinvestasi di server berakselerasi GPU dan jaringan berkecepatan tinggi untuk mendukung beban kerja inferensi lokal.
Bagaimana Anda berencana untuk mengelola versi model dan penerapan di lingkungan yang berbeda?	Kami berencana untuk menggunakannya MLflow untuk pelacakan model dan pembuatan versi, dan mengintegrasikannya dengan infrastruktur Kubernetes kami untuk penerapan yang mulus di seluruh lingkungan.
Alat pemantauan dan observabilitas apa yang Anda pertimbangkan untuk penerapan AI generatif?	Prometheus untuk pengumpulan metrik dan Grafana untuk visualisasi, dengan solusi pencatatan khusus tambahan untuk pemantauan khusus model.
Bagaimana Anda menangani pergerakan dan sinkronisasi data dalam model penerapan hibrida?	Kami akan menggunakannya AWS DataSync untuk transfer data yang efisien antara penyimpanan lokal dan AWS, dengan pekerjaan sinkronisasi otomatis yang dijadwalkan berdasarkan siklus pelatihan kami.
Langkah-langkah keamanan apa yang Anda terapkan untuk penerapan AI generatif di berbagai lingkungan?	Kami akan menggunakan IAM untuk sumber daya cloud, terintegrasi dengan Active Directory lokal kami untuk mengimplementasikan end-to-end enkripsi dan segmentasi jaringan untuk mengamankan aliran data.