Implantar modelos

Você pode implantar o módulo computacional em dispositivos de borda com recursos limitados: baixando o modelo compilado do Amazon S3 para o seu dispositivo e usando o DLR, ou você pode usar o IoT Greengrass da AWS.

Antes de prosseguir, verifique se o dispositivo Edge deve ser compatível com SageMaker o Neo. Consulte Estruturas, dispositivos, sistemas e arquiteturas compatíveis para descobrir quais dispositivos de borda são compatíveis. Certifique-se de especificar seu dispositivo de borda de destino ao enviar o trabalho de compilação, consulte Usar o Neo para compilar um modelo.

Implantar um modelo compilado com o Neo (DLR)

O DLR é um runtime compacto e comum para modelos de aprendizado profundo e modelos de árvore de decisão. O DLR usa o runtime TVM, o runtime Treelite, o NVIDIA TensorRT™ e pode incluir outros runtimes específicos de hardware. O DLR fornece Python/C++ unificado APIs para carregar e executar modelos compilados em vários dispositivos.

Você pode instalar a versão mais recente do pacote DLR usando o seguinte comando pip:

pip install dlr

Para instalação do DLR em destinos de GPU ou dispositivos de borda que não sejam x86, consulte Versões para binários pré-criados ou Instalação do DLR para criar DLRa partir da fonte. Por exemplo, para instalar o DLR para o Raspberry Pi 3, você pode usar:

pip install https://neo-ai-dlr-release.s3-us-west-2.amazonaws.com/v1.3.0/pi-armv7l-raspbian4.14.71-glibc2_24-libstdcpp3_4/dlr-1.3.0-py3-none-any.whl

Implemente um modelo (AWS IoT Greengrass)

AWS O IoT Greengrass estende os recursos de nuvem para dispositivos locais. Ele permite que os dispositivos coletem e analisem dados mais próximos da fonte de informações, reajam de maneira autônoma a eventos locais e se comuniquem com segurança uns com os outros em redes locais. Com o AWS IoT Greengrass, você pode realizar inferência de aprendizado de máquina na borda em dados gerados localmente usando modelos treinados na nuvem. Atualmente, você pode implantar modelos em todos os dispositivos AWS IoT Greengrass baseados nos processadores das séries ARM Cortex-A, Intel Atom e Nvidia Jetson. Para obter mais informações sobre a implantação de um aplicativo de inferência Lambda para realizar inferências de aprendizado de máquina com o AWS IoT Greengrass, consulte Como configurar a inferência otimizada de aprendizado de máquina usando o Management Console. AWS