Facoltativo: configurazione del dispositivo per la qualificazione di ML

SSH nel tuo dispositivo.

Eseguire gli script seguenti per verificare che le dipendenze siano installate correttamente.

sudo python3.7 -c "import mxnet; print(mxnet.__version__)"

sudo python3.7 -c "import numpy; print(numpy.__version__)"

L'output stampa il numero di versione e lo script dovrebbe essere privo di errori.

Assicurarsi che device.json sia configurato per la qualificazione ML. Per ulteriori informazioni, consulta Configurare device.json per la qualificazione ML.

Eseguire il test delle dipendenze per il framework.

devicetester_[linux | mac | win_x86-64] run-suite --group-id mldependencies --test-id mxnet_dependency_check

Il riepilogo del test visualizza un risultato PASSED per mldependencies.

SSH nel tuo dispositivo.

Eseguire lo script seguente per verificare che la dipendenza sia installata correttamente.

sudo python3.7 -c "import tensorflow; print(tensorflow.__version__)"

L'output stampa il numero di versione e lo script dovrebbe essere privo di errori.

Assicurarsi che device.json sia configurato per la qualificazione ML. Per ulteriori informazioni, consulta Configurare device.json per la qualificazione ML.

Eseguire il test delle dipendenze per il framework.

devicetester_[linux | mac | win_x86-64] run-suite --group-id mldependencies --test-id tensorflow_dependency_check

Il riepilogo del test visualizza un risultato PASSED per mldependencies.

SSH nel tuo dispositivo.

Eseguire gli script seguenti per verificare che le dipendenze siano installate correttamente.

sudo python3.7 -c "import dlr; print(dlr.__version__)"

sudo python3.7 -c "import numpy; print(numpy.__version__)"

L'output stampa il numero di versione e lo script dovrebbe essere privo di errori.

Assicurarsi che device.json sia configurato per la qualificazione ML. Per ulteriori informazioni, consulta Configurare device.json per la qualificazione ML.

Eseguire il test delle dipendenze per il framework.

devicetester_[linux | mac | win_x86-64] run-suite --group-id mldependencies --test-id dlr_dependency_check

Il riepilogo del test visualizza un risultato PASSED per mldependencies.

Verifica che il tipo di dispositivo sia supportato dall' SageMaker IA. Per ulteriori informazioni, consulta le opzioni del dispositivo di destinazione nell'Amazon SageMaker AI API Reference. Se il tuo tipo di dispositivo non è attualmente supportato dall' SageMaker intelligenza artificiale, segui i passaggi indicati inOpzione 2: utilizzare TVM per compilare il modello DLR.

Scarica il file tarball che contiene il modello non compilato e preaddestrato MXNet per DLR:

Decomprimere il tarball. Questo comando genera la seguente struttura di directory.

Spostare synset.txt fuori dalla directory resnet18. Prendere nota del nuovo percorso. Copiare questo file nella directory del modello compilato in un secondo momento.

Comprimere il contenuto della directory resnet18.

tar cvfz model.tar.gz resnet18v1-symbol.json resnet18v1-0000.params

Carica il file compresso in un bucket Amazon S3 nel Account AWS tuo, quindi segui i passaggi in Compila un modello (console) per creare un processo di compilazione.

1. Per Input configuration (Configurazione di input), utilizzare i seguenti valori:

   • Per Data input configuration (Configurazione di input dati), immettere {"data": [1, 3, 224, 224]}.

   • Per Machine learning framework (Framework di machine learning), selezionare MXNet.

2. Per Output configuration (Configurazione di output), utilizzare i seguenti valori:

   • Per la posizione di uscita S3, inserisci il percorso del bucket o della cartella Amazon S3 in cui desideri archiviare il modello compilato.

   • Per Target device (Dispositivo di destinazione), scegliere il tipo di dispositivo.

Scaricare il modello compilato dal percorso di output specificato, quindi decomprimere il file.

Copiare synset.txt nella directory del modello compilato.

Modificare il nome della directory del modello compilato in resnet18.

La directory del modello compilato deve avere la seguente struttura della directory.

Scaricate il file tarball che contiene il MXNet modello non compilato e preaddestrato per DLR:

Decomprimere il tarball. Questo comando genera la seguente struttura di directory.

Seguire le istruzioni contenute nella documentazione di TVM per creare e installare TVM dal sorgente per la piattaforma.

Dopo aver creato TVM, eseguire la compilazione di TVM per il modello resnet18. I seguenti passaggi sono basati sul Tutorial di avvio rapido per la compilazione di modelli di deep learning contenuto nella documentazione di TVM.

1. Aprire il file relay_quick_start.py dal repository di TVM clonato.

2. Aggiornare il codice che definisce una rete neurale in relay. È possibile utilizzare una delle seguenti opzioni:

   • Opzione 1: utilizzare mxnet.gluon.model_zoo.vision.get_model per ottenere il modulo relay e i parametri:

     from mxnet.gluon.model_zoo.vision import get_model
     block = get_model('resnet18_v1', pretrained=True)
     mod, params = relay.frontend.from_mxnet(block, {"data": data_shape})

   • Opzione 2: dal modello non compilato scaricato al passaggio 1, copiare i seguenti file nella stessa directory del file relay_quick_start.py. Questi file contengono il modulo relay e i parametri.

     • resnet18v1-symbol.json

     • resnet18v1-0000.params

3. Aggiornare il codice che salva e carica il modulo compilato per utilizzare il codice seguente.

   from tvm.contrib import util
   path_lib = "deploy_lib.so"
   #  Export the model library based on your device architecture
   lib.export_library("deploy_lib.so", cc="aarch64-linux-gnu-g++")
   with open("deploy_graph.json", "w") as fo:
       fo.write(graph)
   with open("deploy_param.params", "wb") as fo:
       fo.write(relay.save_param_dict(params))

4. Costruire il modello:

   python3 tutorials/relay_quick_start.py --build-dir ./model

   Questo comando genera i seguenti file.

   • deploy_graph.json

   • deploy_lib.so

   • deploy_param.params

Copiare i file del modello generati in una directory denominata resnet18. Questa è la directory del modello compilato.

Copiare la directory del modello compilato nel computer host. Copiare quindi synset.txt dal modello non compilato scaricato nel passaggio 1 nella directory del modello compilato.

La directory del modello compilato deve avere la seguente struttura della directory.