Come configurare l'inferenza di Machine Learning ottimizzata mediante la AWS Management Console

Installare gli aggiornamenti in Raspbian.

sudo apt-get update
sudo apt-get dist-upgrade

Installare l'interfaccia picamera per il modulo della telecamera e le altre librerie Python necessarie per questo tutorial.

sudo apt-get install -y python3-dev python3-setuptools python3-pip python3-picamera

Convalidare l'installazione:

Riavvia il dispositivo Raspberry Pi.

sudo reboot

Apri lo strumento di configurazione di Raspberry Pi.

sudo raspi-config

Utilizza i tasti freccia per aprire Interfacing Options (Opzioni di interfaccia) e abilita l'interfaccia della telecamera. Se richiesto, consenti il riavvio del dispositivo.

Utilizza il seguente comando per eseguire il test della configurazione della telecamera.

raspistill -v -o test.jpg

Viene visualizzata una finestra di anteprima sul dispositivo Raspberry Pi, viene salvata un'immagine denominata test.jpg nella directory corrente e vengono visualizzati informazioni sulla telecamera nel terminale Raspberry Pi.

Accedere al Raspberry Pi da remoto.

ssh pi@your-device-ip-address

Aprire la documentazione DLR, aprire Installazione DLR e individuare il wheel URL dei dispositivi Raspberry Pi. Seguire quindi le istruzioni per installare il DLR sul dispositivo. Ad esempio, è possibile utilizzare pip:

pip3 install rasp3b-wheel-url

Dopo aver installato il DLR, convalidare la seguente configurazione:

Sul computer, scaricare l'esempio DLR per Raspberry Pi da Esempi di Machine Learning.

Decomprimere il file dlr-py3-armv7l.tar.gz scaricato.

cd path-to-downloaded-sample
tar -xvzf dlr-py3-armv7l.tar.gz

La directory examples nel pacchetto di esempio estratto contiene il codice di funzione e le dipendenze.

Comprimere il contenuto della directory examples in un file denominato optimizedImageClassification.zip. Questo è il pacchetto di distribuzione.

cd path-to-downloaded-sample/dlr-py3-armv7l/examples
zip -r optimizedImageClassification.zip .

Il pacchetto di distribuzione contiene il codice di funzione e le dipendenze. Ciò include il codice che richiama le API Python del runtime di Deep Learning di Neo per eseguire l'inferenza con i modelli del compilatore Deep Learning.

A questo punto, aggiungi la funzione Lambda al gruppo Greengrass.

Dalla pagina della console Lambda, scegliFunzionie scegliCrea funzione.

ScegliereAuthor from scratch (Crea da zero)e utilizzare i seguenti valori per creare la funzione:

PerAutorizzazioni, mantenere l'impostazione predefinita. Questo crea un ruolo di esecuzione che concede le autorizzazioni Lambda di base. Tale ruolo non viene utilizzato daAWS IoT Greengrass.

Scegli Create function (Crea funzione).

SulCodescheda, sottoCodice sorgente, scegliCarica da. Dal menu a discesa, scegli.zip.

Scegli iloptimizedImageClassification.zippacchetto di distribuzione, quindi scegliSave (Salva).

SulCodetab per la funzione, sottoImpostazioni Runtime, scegliModificaree quindi immettere i valori seguenti.

Seleziona Save (Salva.

Nel menu Actions (Operazioni), seleziona Publish new version (Pubblica nuova versione).

Per Version description (Descrizione versione), immettere First version, quindi scegliere Publish (Pubblica).

SuloptimizedImageClassification: 1pagina di configurazione, dallaOperazionimenu, scegliCreazione dell'alias.

Nella pagina Create a new alias (Crea un nuovo alias), utilizza i seguenti valori:

Scegli Crea.

A questo punto, aggiungi la funzione Lambda al gruppo Greengrass.

NellaAWS IoTRiquadro di navigazione della console, sottoManage (Gestione), espanificareDispositivi Greengrassquindi scegliereGruppi (V1).

Nella pagina di configurazione dei gruppi, scegliereFunzioni Lambdatab e scegliInserisci.

SelezionaLambda function (Funzione Lambda)e sceglioptimizedImageClassification.

SulVersione delle funzioni Lambda, scegli l'alias della versione che hai pubblicato.

NellaConfigurazione delle funzioni Lambda, effettuare i seguenti aggiornamenti.

1. Per eseguire senza containerizzazione:

   • PerUtente e gruppo di sistema, scegliAnother user ID/group ID. PerID utente del sistema, immettere0. PerID gruppo di sistema, immettere0.

     Questo consente alla funzione Lambda di funzionare come root. Per ulteriori informazioni sull'esecuzione come root, consultaImpostazione dell'identità di accesso predefinita per le funzioni Lambda in un gruppo.

     Suggerimento

     Devi anche aggiornare il tuoconfig.jsonper concedere a l'accesso come root alla funzione Lambda. Per la procedura, consultaEsecuzione di una funzione Lambda come utente root.

   • PerContainerizzazione della funzione Lambda, scegliNessun container.

     Per ulteriori informazioni sull'esecuzione senza containerizzazione, consultaConsiderazioni sulla scelta della containerizzazione delle funzioni Lambda.

   • Per Timeout, immettere 10 seconds.

   • PerPinned, scegliTrue.

     Per ulteriori informazioni, consulta la pagina Configurazione del ciclo di vita per le funzioni Greengrass Lambda .

   • UNDERUlteriori parametri, perRead access to /sys directory (Accesso in lettura alla directory /sys), scegliEnabled (Abilitato).

2. Per eseguire invece in modalità containerizzata:

   Nota

   Ti consigliamo di non usare l'esecuzione in modalità containerizzata solo se richiesto dal business case.

   • PerUtente e gruppo di sistema, scegliUtilizza il gruppo predefinito.

   • PerContainerizzazione della funzione Lambda, scegliUtilizza il gruppo predefinito.

   • Per Memory limit (Limite memoria), immettere 1024 MB.

   • Per Timeout, immettere 10 seconds.

   • PerPinned, scegliTrue.

     Per ulteriori informazioni, consulta la pagina Configurazione del ciclo di vita per le funzioni Greengrass Lambda .

   • UNDERUlteriori parametri, perRead access to /sys directory (Accesso in lettura alla directory /sys), scegliEnabled (Abilitato).

ScegliereAggiungi funzione Lambda.

Nel computer, passare alla directory resnet50 nel pacchetto di esempio decompresso in Fase 3: Creazione di una funzione Lambda di inferenza.

cd path-to-downloaded-sample/dlr-py3-armv7l/models/resnet50

Questa directory contiene artefatti di modelli precompilati di un modello di classificazione delle immagini basato su Resnet-50.

Comprimere i file all'interno della directory resnet50 in un file denominato resnet50.zip.

zip -r resnet50.zip .

Nella pagina di configurazione del gruppoAWS IoT Greengrassgruppo, scegliere ilRisorsetabulatore. Accedi alla sezione Machine Learning e scegli Add Machine Learning resource (Aggiungi risorsa Machine Learning). Nella pagina Create a Machine Learning resource (Crea una risorsa Machine Learning), per Resource name (Nome risorsa), immetti resnet50_model.

PerFonte del modello, scegliUtilizzare un modello archiviato in S3, ad esempio un modello ottimizzato tramite Deep Learning Compiler.

UNDERURI, scegliSfoglia S3.

Scegli Upload a model (Carica un modello).

Nella scheda della console di Amazon S3, carica il file zip in un bucket Amazon S3. Per informazioni, consulta .Come caricare file e cartelle in un bucket S3?nellaGuida dell'utente di Amazon Simple Storage Service.

NellaAWS IoT Greengrassnella scheda della console, individua e scegli il bucket Amazon S3. Individuare e il file resnet50.zip caricato e scegliere Select (Seleziona). Potrebbe essere necessario aggiornare la pagina per aggiornare l'elenco dei bucket e dei file disponibili.

Nello statoPercorso di destinazione, immettere/ml_model.

Questa è la destinazione del modello locale nello spazio Lambda del runtime di. Quando distribuisci il gruppo, AWS IoT Greengrass recupera il pacchetto del modello di origine e poi estrae i contenuti nella directory specificata.

Se in esecuzione in modalità containerizzata:

1. UNDERAutorizzazioni di accesso ai file e al proprietario, scegliSpecifica il gruppo di sistema e le autorizzazioni.

2. ScegliereAccesso in sola letturae quindi scegliAdd resource (Aggiungi risorsa).

Nella pagina di configurazione del gruppo, scegliereRisorsetabulatore.

SulRisorse localischeda, scegliAggiungere risorsa locale.

SulAggiungere una risorsa localepage, utilizza i seguenti valori:

Nella parte inferiore della pagina scegliAdd resource (Aggiungi risorsa).

DaRisorsescheda, crea un'altra risorsa locale scegliendoInseriscie utilizza i seguenti valori:

Scegliere Add resource (Aggiungi risorsa).

Nella pagina di configurazione del gruppo, scegliereAbbonamentischeda, quindi scegliAggiungi sottoscrizione.

SulCreazione di una sottoscrizione, configura l'origine e la destinazione come indicato di seguito:

1. Nello statoTipo di origine, scegliLambda function (Funzione Lambda)quindi scegliereoptimizedImageClassification.

2. Nello statoTarget type (Tipo di destinazione), scegliService (Servizio)quindi scegliereIoT Cloud.

3. NellaFiltro di argomenti, immettere/resnet-50/predictionsquindi scegliereCreazione della sottoscrizione.

Aggiungere un secondo abbonamento. SelezionaAbbonamentischeda, scegliAggiungi sottoscrizionee configura l'origine e la destinazione come indicato di seguito:

1. Nello statoTipo di origine, scegliServiziquindi scegliereIoT Cloud.

2. Nello statoTarget type (Tipo di destinazione), scegliLambda function (Funzione Lambda)quindi scegliereoptimizedImageClassification.

3. NellaFiltro di argomenti, immettere/resnet-50/testquindi scegliereCreazione della sottoscrizione.

Assicurarsi che il fileAWS IoT Greengrasscore è in esecuzione. Esegui i seguenti comandi nel terminale di Raspberry Pi in base alle esigenze.

1. Per controllare se il daemon è in esecuzione:

   ps aux | grep -E 'greengrass.*daemon'

   Se l'output contiene una voce root per /greengrass/ggc/packages/latest-core-version/bin/daemon, allora il daemon è in esecuzione.

2. Per avviare il daemon:

   cd /greengrass/ggc/core/
   sudo ./greengrassd start

Nella pagina di configurazione del gruppo, scegliereDistribuzione.

SulFunzioni Lambdascheda, selezionaRilevatore IPe scegliModificare.

DaModifica impostazioni rilevatore IPfinestra di dialogo, selezionaRileva e sostituisci automaticamente gli endpoint del broker MQTTe scegliSave (Salva).

Questo consente ai dispositivi di acquisire automaticamente informazioni di base sulla connettività, come, ad esempio indirizzo IP, DNS e numero della porta. È consigliato il rilevamento automatico, ma AWS IoT Greengrass supporta anche endpoint specifici manualmente. Ti viene chiesto il metodo di individuazione solo la prima volta che il gruppo viene distribuito.

Nella pagina Deployments (Distribuzioni) vengono visualizzati il timestamp della distribuzione, l'ID versione e lo stato. Una volta completata, la distribuzione dovrebbe mostrare lo statoCompletato.

Per ulteriori informazioni sull'eliminazione di distribuzioni, consultaDistribuzione di gruppi AWS IoT Greengrass in un AWS IoT Greengrass Core. Per la risoluzione dei problemi, consultare Risoluzione dei problemi relativi a AWS IoT Greengrass.

SulAWS IoTHome page della console, sottoTest, scegliClient di test MQTT.

PerAbbonamenti, scegliSottoscrizione a un argomento. Utilizzare i seguenti valori. Non modificare i valori predefiniti delle altre opzioni:

Scegliere Subscribe (Effettua sottoscrizione).

SceglierePubblicazione in un argomento, immettere/resnet-50/testcome ilNome argomentoe scegliPubblicare.

Se il test viene completato senza errori, il messaggio pubblicato richiederà a Raspberry Pi di acquisire un'immagine. Nella parte inferiore della pagina verrà visualizzato un messaggio della funzione Lambda. Questo messaggio contiene il risultato predittivo dell'immagine nel formato: nome classe prevista, probabilità e picco di utilizzo della memoria.

Scarica le immagini PNG o JPG statiche per la funzione Lambda da utilizzare per la classificazione delle immagini. L'esempio funziona in modo ottimale con file immagine di dimensioni ridotte.

Salva i file immagine nella directory contenente il file inference.py (o in una sottodirectory di questa directory). Questo file si trova nel pacchetto di distribuzione della funzione Lambda che hai caricato nellaFase 3: Creazione di una funzione Lambda di inferenza.

Modifica la configurazione della funzione Lambda. Segui la procedura riportata in Fase 4: Aggiunta della funzione Lambda al gruppo Greengrass.

1. Per eseguire senza containerizzazione:

   • PerUtente e gruppo di sistema, scegliAnother user ID/group ID. PerID utente del sistema, immettere0. PerID gruppo di sistema, immettere0.

     Questo consente alla funzione Lambda di funzionare come root. Per ulteriori informazioni sull'esecuzione come root, consultaImpostazione dell'identità di accesso predefinita per le funzioni Lambda in un gruppo.

     Suggerimento

     Devi anche aggiornare il tuoconfig.jsonper concedere a l'accesso come root alla funzione Lambda. Per la procedura, consultaEsecuzione di una funzione Lambda come utente root.

   • PerContainerizzazione della funzione Lambda, scegliNessun container.

     Per ulteriori informazioni sull'esecuzione senza containerizzazione, consultaConsiderazioni sulla scelta della containerizzazione delle funzioni Lambda.

   • Aumenta il valore di Timeout a 2 minuti. In questo modo, il timeout della richiesta non viene eseguito troppo presto. L'esecuzione dell'inferenza richiede alcuni minuti dopo la configurazione.

   • PerPinned, scegliTrue.

   • UNDERUlteriori parametri, perRead access to /sys directory (Accesso in lettura alla directory /sys), scegliEnabled (Abilitato).

2. Per eseguire invece in modalità containerizzata:

   Nota

   Ti consigliamo di non usare l'esecuzione in modalità containerizzata solo se richiesto dal business case.

   • Aumenta il valore di Memory limit (Limite memoria) a 3000 MB.

   • Aumenta il valore di Timeout a 2 minuti. In questo modo, il timeout della richiesta non viene eseguito troppo presto. L'esecuzione dell'inferenza richiede alcuni minuti dopo la configurazione.

   • PerPinned, scegliTrue.

   • UNDERUlteriori parametri, perRead access to /sys directory (Accesso in lettura alla directory /sys), scegliEnabled (Abilitato).

Aggiungere la risorsa del modello ottimizzato Neo al gruppo Caricare le risorse del modello nella directory resnet50 del pacchetto di esempio decompresso in Fase 3: Creazione di una funzione Lambda di inferenza. Questa directory contiene artefatti di modelli precompilati di un modello di classificazione delle immagini basato su Resnet-50. Segui la procedura descritta in Fase 5: Aggiungi un SageMaker Risorsa del modello ottimizzato Neo al gruppo Greengrass, con i seguenti aggiornamenti:

Se in esecuzione in modalità containerizzata, aggiungi la risorsa del dispositivo locale richiesta per concedere l'accesso alla GPU del tuo dispositivo.

1. Nella pagina di configurazione del gruppo, scegliereRisorsetabulatore.

2. NellaRisorse localisezione, scegliAggiungere risorsa locale.

3. Definisci la risorsa:

   • Per Resource Name (Nome risorsa) immetti renderD128.

   • Per Resource type (Tipo di risorsa), scegli Device (Dispositivo).

   • PerPercorso dispositivo locale, immettere/dev/dri/renderD128.

   • PerAutorizzazioni di accesso ai file e al proprietario, scegliAggiungi automaticamente le autorizzazioni del gruppo file system del gruppo di possiede la risorsa.

Assicurarsi che il dispositivo Jetson sia configurato in modo da poter installare il software AWS IoT Greengrass Core e utilizzare la GPU per inferenza. Per ulteriori informazioni sulla configurazione del dispositivo, consulta Configurazione di altri dispositivi. Per utilizzare la GPU per inferenza su un dispositivo NVIDIA Jetson TX2, è necessario installare CUDA 10.0 e cuDNN 7.0 sul dispositivo NVIDIA Jetson TX2 sul dispositivo NVIDIA Jetson TX2.

Scarica le immagini PNG o JPG statiche per la funzione Lambda da utilizzare per la classificazione delle immagini. L'esempio funziona in modo ottimale con file immagine di dimensioni ridotte.

Salvare i file immagine nella directory contenente il file inference.py. È possibile salvarli anche in una sottodirectory di questa directory. Questa directory si trova nel pacchetto di distribuzione della funzione Lambda che hai caricato nellaFase 3: Creazione di una funzione Lambda di inferenza.

Modifica la configurazione della funzione Lambda. Segui la procedura riportata in Fase 4: Aggiunta della funzione Lambda al gruppo Greengrass.

1. Per eseguire senza containerizzazione:

   • PerRun as (Esegui come), scegliAnother user ID/group ID. PerUID, immettere0. PerGUID, immettere0.

     Questo consente alla funzione Lambda di funzionare come root. Per ulteriori informazioni sull'esecuzione come root, consultaImpostazione dell'identità di accesso predefinita per le funzioni Lambda in un gruppo.

     Suggerimento

     Devi anche aggiornare il tuoconfig.jsonper concedere a l'accesso come root alla funzione Lambda. Per la procedura, consultaEsecuzione di una funzione Lambda come utente root.

   • PerContainerizzazione della funzione Lambda, scegliNessun container.

     Per ulteriori informazioni sull'esecuzione senza containerizzazione, consultaConsiderazioni sulla scelta della containerizzazione delle funzioni Lambda.

   • Aumenta il valore Timeout a 5 minuti. In questo modo, il timeout della richiesta non viene eseguito troppo presto. L'esecuzione dell'inferenza richiede alcuni minuti dopo la configurazione.

   • PerPinned, scegliTrue.

   • UNDERUlteriori parametri, perRead access to /sys directory (Accesso in lettura alla directory /sys), scegliEnabled (Abilitato).

2. Per eseguire invece in modalità containerizzata:

   Nota

   Ti consigliamo di non usare l'esecuzione in modalità containerizzata solo se richiesto dal business case.

   • Aumenta il valore di Memory limit (Limite memoria). Per utilizzare il modello fornito in modalità GPU, utilizza almeno 2000 MB.

   • Aumenta il valore Timeout a 5 minuti. In questo modo, il timeout della richiesta non viene eseguito troppo presto. L'esecuzione dell'inferenza richiede alcuni minuti dopo la configurazione.

   • PerPinned, scegliTrue.

   • UNDERUlteriori parametri, perRead access to /sys directory (Accesso in lettura alla directory /sys), scegliEnabled (Abilitato).

Aggiungere la risorsa del modello ottimizzato Neo al gruppo Caricare le risorse del modello nella directory resnet18 del pacchetto di esempio decompresso in Fase 3: Creazione di una funzione Lambda di inferenza. Questa directory contiene artefatti di modelli precompilati di un modello di classificazione delle immagini basato su Resnet-18. Segui la procedura descritta in Fase 5: Aggiungi un SageMaker Risorsa del modello ottimizzato Neo al gruppo Greengrass, con i seguenti aggiornamenti:

Se in esecuzione in modalità containerizzata, aggiungere le risorse del dispositivo locale necessarie per concedere l'accesso alla GPU del dispositivo.

1. Nella pagina di configurazione del gruppo, scegliereRisorsetabulatore.

2. NellaRisorse localisezione, scegliAggiungere risorsa locale.

3. Definisci ogni risorsa:

   • Per Resource name (Nome risorsa) e Device path (Percorso dispositivo), utilizza i valori nella tabella seguente. Crea una risorsa del dispositivo per ogni riga nella tabella.

   • Per Resource type (Tipo di risorsa), scegli Device (Dispositivo).

   • PerAutorizzazioni di accesso ai file e al proprietario, scegliAggiungi automaticamente le autorizzazioni del gruppo file system del gruppo di possiede la risorsa.

      

     Nome	Percorso dispositivo
     nvhost-ctrl	/dev/nvhost-ctrl
     nvhost-gpu	/dev/nvhost-gpu
     nvhost-ctrl-gpu	/nvhost-ctrl-gpu
     nvhost-dbg-gpu	/nvhost-dbg-gpu
     nvhost-prof-gpu	/nvhost-prof-gpu
     nvmap	/dev/nvmap
     nvhost-vic	/dev/nvhost-vic
     tegra_dc_ctrl	/dev/tegra_dc_ctrl

Se in esecuzione in modalità containerizzata, aggiungi la seguente risorsa volume locale per concedere l'accesso alla fotocamera del tuo dispositivo. Segui la procedura riportata in Fase 5: Aggiungi un SageMaker Risorsa del modello ottimizzato Neo al gruppo Greengrass.

Aggiornare le sottoscrizioni di gruppo per utilizzare la directory corretta. Segui la procedura descritta in Fase 7: Aggiunta di sottoscrizioni al gruppo Greengrass, con i seguenti aggiornamenti:

Aggiornare le sottoscrizioni di test per utilizzare la directory corretta. Segui la procedura descritta in Esecuzione del test dell'esempio di inferenza, con i seguenti aggiornamenti:

Passare all'utente root e navigare alla directory log. L'accesso ai log AWS IoT Greengrass richiede autorizzazioni di root.

sudo su
cd /greengrass/ggc/var/log

Checkruntime.logper eventuali errori.

cat system/runtime.log | grep 'ERROR'

Puoi anche verificare se il log della funzione Lambda definita dall'utente contiene errori:

cat user/your-region/your-account-id/lambda-function-name.log | grep 'ERROR'

Per ulteriori informazioni, consulta la pagina Risoluzione dei problemi con i log .

Elenca i contenuti della Lambda distribuita nella/lambdadirectory. Prima di eseguire il comando, sostituisci i valori dei segnaposti.

cd /greengrass/ggc/deployment/lambda/arn:aws:lambda:region:account:function:function-name:function-version
ls -la

Verifica che la directory contenga gli stessi file inclusi nel pacchetto di distribuzione optimizedImageClassification.zip caricato in Fase 3: Creazione di una funzione Lambda di inferenza.

Assicurati inoltre che i file .py e le dipendenze si trovino nella root della directory.

Trova il numero di identificazione (PID) Lambda runtime di:

ps aux | grep lambda-function-name

Nell'output, il PID viene visualizzato nella seconda colonna della riga relativa al processo runtime Lambda.

Inserisci lo spazio dei nomi Lambda Runtime. Assicurati di sostituire il valore pid del segnaposto prima di eseguire il comando.

sudo nsenter -t pid -m /bin/bash

Elenca i contenuti della directory locale specificata per la risorsa ML.

cd /ml_model
ls -ls

Dovrebbero essere visualizzati i seguenti file:

    56 -rw-r--r-- 1 ggc_user ggc_group     56703 Oct 29 20:07 model.json
196152 -rw-r--r-- 1 ggc_user ggc_group 200855043 Oct 29 20:08 model.params
   256 -rw-r--r-- 1 ggc_user ggc_group    261848 Oct 29 20:07 model.so
    32 -rw-r--r-- 1 ggc_user ggc_group     30564 Oct 29 20:08 synset.txt