Implantar modelos

Você pode implantar o módulo computacional em dispositivos de borda com recursos limitados: baixando o modelo compilado do Amazon S3 para o seu dispositivo e usando o DLR, ou você pode usar o IoT Greengrass da AWS.

Antes de continuar, certifique-se de que seu dispositivo de borda seja compatível com o SageMaker Neo. Consulte Estruturas, dispositivos, sistemas e arquiteturas compatíveis para descobrir quais dispositivos de borda são compatíveis. Certifique-se de especificar seu dispositivo de borda de destino ao enviar o trabalho de compilação, consulte Usar o Neo para compilar um modelo.

Implantar um modelo compilado com o Neo (DLR)

O DLR é um runtime compacto e comum para modelos de aprendizado profundo e modelos de árvore de decisão. O DLR usa o runtime TVM, o runtime Treelite, o NVIDIA TensorRT™ e pode incluir outros runtimes específicos de hardware. O DLR fornece APIs Python/C++ unificadas para carregar e executar modelos compilados em vários dispositivos.

Você pode instalar a versão mais recente do pacote DLR usando o seguinte comando pip:

pip install dlr

Para instalação do DLR em destinos de GPU ou dispositivos de borda que não sejam x86, consulte Versões para binários pré-criados ou Instalação do DLR para criar DLRa partir da fonte. Por exemplo, para instalar o DLR para o Raspberry Pi 3, você pode usar:

pip install https://neo-ai-dlr-release.s3-us-west-2.amazonaws.com/v1.3.0/pi-armv7l-raspbian4.14.71-glibc2_24-libstdcpp3_4/dlr-1.3.0-py3-none-any.whl

Implemente um modelo (AWS IoT Greengrass)

O AWS IoT Greengrass estende os recursos da nuvem para os dispositivos locais. Ele permite que os dispositivos coletem e analisem dados mais próximos da fonte de informações, reajam de maneira autônoma a eventos locais e se comuniquem com segurança uns com os outros em redes locais. Com o IoT Greengrass da AWS, você pode realizar inferências de machine learning na borda de dados gerados localmente usando modelos treinados na nuvem. Atualmente, é possível implantar modelos em todos os dispositivos IoT Greengrass de AWS baseados em processadores das séries ARM Cortex-A, Intel Atom e Nvidia Jetson. Para obter mais informações sobre como implantar um aplicativo de inferência do Lambda para realizar inferências de machine learning com o AWS IoT Greengrass, consulte Como configurar a inferência otimizada de machine learning usando o Console de Gerenciamento da AWS.