TorchServe

TorchServe adalah alat yang fleksibel untuk melayani model pembelajaran mendalam yang telah diekspor dari PyTorch. TorchServe datang pra-instal dengan AMI Pembelajaran Mendalam dengan Conda.

Untuk informasi selengkapnya tentang penggunaan TorchServe, lihat Server Model untuk PyTorch Dokumentasi.

Topik

Sajikan Model Klasifikasi Gambar pada TorchServe

Tutorial ini menunjukkan cara menyajikan model klasifikasi gambar dengan TorchServe. Ini menggunakan model DenseNet -161 yang disediakan oleh. PyTorch Setelah server berjalan, ia mendengarkan permintaan prediksi. Saat Anda mengunggah gambar, dalam hal ini, gambar anak kucing, server mengembalikan prediksi 5 kelas pencocokan teratas dari kelas tempat model dilatih.

Untuk menyajikan contoh model klasifikasi gambar pada TorchServe

1. Connect ke instans Amazon Elastic Compute Cloud (Amazon EC2) dengan Deep Learning AMI dengan Conda v34 atau versi lebih baru.

2. Aktifkan pytorch_p310 lingkungan.

   source activate pytorch_p310

3. Kloning TorchServe repositori, lalu buat direktori untuk menyimpan model Anda. 

   git clone https://github.com/pytorch/serve.git
   mkdir model_store    

4. Arsipkan model menggunakan pengarsipan model. extra-filesParam menggunakan file dari TorchServe repo, jadi perbarui jalur jika perlu. Untuk informasi selengkapnya tentang pengarsipan model, lihat Pengarsip Model Obor untuk. TorchServe

   wget https://download.pytorch.org/models/densenet161-8d451a50.pth
   torch-model-archiver --model-name densenet161 --version 1.0 --model-file ./serve/examples/image_classifier/densenet_161/model.py --serialized-file densenet161-8d451a50.pth --export-path model_store --extra-files ./serve/examples/image_classifier/index_to_name.json --handler image_classifier

5. Jalankan TorchServe untuk memulai titik akhir. Menambahkan > /dev/null menenangkan output log.

   torchserve --start --ncs --model-store model_store --models densenet161.mar > /dev/null

6. Unduh gambar anak kucing dan kirimkan ke titik akhir TorchServe prediksi:

   curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg
   curl http://127.0.0.1:8080/predictions/densenet161 -T kitten.jpg

   Titik akhir prediksi mengembalikan prediksi di JSON yang mirip dengan lima prediksi teratas berikut, di mana gambar memiliki probabilitas 47% mengandung kucing Mesir, diikuti oleh kemungkinan 46% memiliki kucing kucing kucing.

   {
    "tiger_cat": 0.46933576464653015,
    "tabby": 0.463387668132782,
    "Egyptian_cat": 0.0645613968372345,
    "lynx": 0.0012828196631744504,
    "plastic_bag": 0.00023323058849200606
   }

7. Setelah Anda selesai menguji, hentikan server:

   torchserve --stop

Contoh Lain

TorchServe memiliki berbagai contoh yang dapat Anda jalankan pada instance DLAMI Anda. Anda dapat melihatnya di halaman contoh repositori TorchServe proyek.

Info Lebih Lanjut

Untuk TorchServe dokumentasi selengkapnya, termasuk cara mengatur TorchServe dengan Docker dan TorchServe fitur terbaru, lihat halaman TorchServe proyek di GitHub.