Buat Inferensi di Perangkat Anda

Dalam contoh ini, Anda akan menggunakan Boto3 untuk mengunduh output pekerjaan kompilasi Anda ke perangkat edge Anda. Anda kemudian akan mengimpor DLR, mengunduh contoh gambar dari kumpulan data, mengubah ukuran gambar ini agar sesuai dengan input asli model, dan kemudian Anda akan membuat prediksi.

1. Unduh model kompilasi Anda dari Amazon S3 ke perangkat Anda dan ekstrak dari tarfile terkompresi.

   # Download compiled model locally to edge device
   object_path = f'output/{model_name}-{target_device}.tar.gz'
   neo_compiled_model = f'compiled-{model_name}.tar.gz'
   s3_client.download_file(bucket_name, object_path, neo_compiled_model)
   
   # Extract model from .tar.gz so DLR can use it
   !mkdir ./dlr_model # make a directory to store your model (optional)
   !tar -xzvf ./compiled-detect.tar.gz --directory ./dlr_model

2. Impor DLR dan objek yang diinisialisasiDLRModel.

   import dlr
   
   device = 'cpu'
   model = dlr.DLRModel('./dlr_model', device)

3. Unduh gambar untuk inferensi dan format berdasarkan bagaimana model Anda dilatih.

   coco_ssd_mobilenetMisalnya, Anda dapat mengunduh gambar dari dataset COCO dan kemudian mereformasi gambar menjadi: 300x300

   from PIL import Image
   
   # Download an image for model to make a prediction
   input_image_filename = './input_image.jpg'
   !curl https://farm9.staticflickr.com/8325/8077197378_79efb4805e_z.jpg --output {input_image_filename}
   
   # Format image so model can make predictions
   resized_image = image.resize((300, 300))
   
   # Model is quantized, so convert the image to uint8
   x = np.array(resized_image).astype('uint8')

4. Gunakan DLR untuk membuat kesimpulan.

   Terakhir, Anda dapat menggunakan DLR untuk membuat prediksi pada gambar yang baru saja Anda unduh:

   out = model.run(x)

Untuk contoh lainnya menggunakan DLR untuk membuat kesimpulan dari model yang dikompilasi NEO pada perangkat edge, lihat repositori Github. neo-ai-dlr