Rekomendasi SageMaker Inferensi Amazon

Amazon SageMaker Inference Recommender adalah kemampuan Amazon. SageMaker Ini mengurangi waktu yang diperlukan untuk mendapatkan model pembelajaran mesin (ML) dalam produksi dengan mengotomatiskan pengujian beban dan penyetelan model di seluruh instance SageMaker ML. Anda dapat menggunakan Inference Recommender untuk menyebarkan model Anda ke titik akhir inferensi real-time atau tanpa server yang memberikan kinerja terbaik dengan biaya terendah. Inference Recommender membantu Anda memilih jenis dan konfigurasi instans terbaik untuk model dan beban kerja ML Anda. Ini mempertimbangkan faktor-faktor seperti jumlah instance, parameter kontainer, pengoptimalan model, konkurensi maks, dan ukuran memori.

Amazon SageMaker Inference Recommender hanya menagih Anda untuk instans yang digunakan saat pekerjaan Anda dijalankan.

Cara kerjanya

Untuk menggunakan Amazon SageMaker Inference Recommender, Anda dapat membuat SageMaker model atau mendaftarkan model ke registri model dengan SageMaker artefak model Anda. Gunakan AWS SDK for Python (Boto3) atau SageMaker konsol untuk menjalankan tugas benchmarking untuk konfigurasi SageMaker titik akhir yang berbeda. Pekerjaan Inference Recommender membantu Anda mengumpulkan dan memvisualisasikan metrik di seluruh kinerja dan pemanfaatan sumber daya untuk membantu Anda memutuskan jenis dan konfigurasi titik akhir mana yang akan dipilih.

Cara Memulai

Jika Anda adalah pengguna pertama kali Amazon SageMaker Inference Recommender, kami sarankan Anda melakukan hal berikut:

1. Baca Prasyarat bagian untuk memastikan Anda telah memenuhi persyaratan untuk menggunakan Amazon SageMaker Inference Recommender.

2. Baca Lowongan kerja rekomendasi bagian untuk meluncurkan pekerjaan rekomendasi Inference Recommender pertama Anda.

3. Jelajahi contoh buku catatan pengantar Amazon SageMaker Inference Recommender Jupyter, atau tinjau contoh buku catatan di bagian berikut.

Notebook contoh

Contoh notebook Jupyter berikut dapat membantu Anda dengan alur kerja untuk beberapa kasus penggunaan di Inference Recommender:

• Jika Anda menginginkan buku catatan pengantar yang membandingkan TensorFlow model, lihat buku catatan SageMaker Inference Recommender. TensorFlow

• Jika Anda ingin melakukan benchmark HuggingFace model, lihat SageMaker Inference Recommender untuk notebook. HuggingFace

• Jika Anda ingin melakukan benchmark XGBoost model, lihat buku catatan SageMaker Inference XGBoost Recommender.

• Jika Anda ingin meninjau CloudWatch metrik untuk pekerjaan Inference Recommender, lihat buku catatan metrik SageMaker Inference Recommender. CloudWatch