Executar a inferência de machine learning - AWS IoT Greengrass
Como a inferência de ML do AWS IoT Greengrass funcionaO que há de diferente na AWS IoT Greengrass versão 2?RequisitosFontes de modelo compatíveisTempos de execução compatíveisComponentes de aprendizado de máquina

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Executar a inferência de machine learning

ComAWS IoT Greengrass, você pode realizar inferência de aprendizado de máquina (ML) em seus dispositivos de ponta em dados gerados localmente usando modelos treinados na nuvem. Você se beneficia da baixa latência e da redução de custos na execução da inferência local, e ainda aproveita a capacidade de computação em nuvem para modelos de treinamento e processamento complexo.

AWS IoT Greengrasstorna as etapas necessárias para realizar a inferência mais eficientes. Você pode treinar seus modelos de inferência em qualquer lugar e implantá-los localmente como componentes de aprendizado de máquina. Por exemplo, você pode criar e treinar modelos de aprendizado profundo na Amazon SageMaker ou modelos de visão computacional no Amazon Lookout for Vision. Em seguida, você pode armazenar esses modelos em um bucket do Amazon S3, para poder usá-los como artefatos em seus componentes para realizar inferências em seus dispositivos principais.

Tópicos

Como a inferência de ML do AWS IoT Greengrass funciona

AWSfornece componentes de aprendizado de máquina que você pode usar para criar implantações em uma etapa para realizar inferências de aprendizado de máquina em seu dispositivo. Você também pode usar esses componentes como modelos para criar componentes personalizados para atender às suas necessidades específicas.

AWSfornece as seguintes categorias de componentes de aprendizado de máquina:

  • Componente de modelo — contém modelos de aprendizado de máquina como artefatos do Greengrass.

  • Componente de tempo de execução — contém o script que instala a estrutura de aprendizado de máquina e suas dependências no dispositivo principal do Greengrass.

  • Componente de inferência — contém o código de inferência e inclui dependências de componentes para instalar a estrutura de aprendizado de máquina e baixar modelos de aprendizado de máquina pré-treinados.

Cada implantação que você cria para realizar inferência de aprendizado de máquina consiste em pelo menos um componente que executa seu aplicativo de inferência, instala a estrutura de aprendizado de máquina e baixa seus modelos de aprendizado de máquina. Para realizar inferência de amostra com os componentes AWS fornecidos, você implanta um componente de inferência em seu dispositivo principal, que inclui automaticamente o modelo correspondente e os componentes de tempo de execução como dependências. Para personalizar suas implantações, você pode conectar ou trocar os componentes do modelo de amostra por componentes do modelo personalizado ou pode usar as receitas de componentes dos componentes AWS fornecidos como modelos para criar seus próprios componentes personalizados de inferência, modelo e tempo de execução.

Para realizar inferências de aprendizado de máquina usando componentes personalizados:

  1. Crie um componente de modelo. Esse componente contém os modelos de aprendizado de máquina que você deseja usar para realizar inferências. AWSfornece exemplos de modelos DLR e TensorFlow Lite pré-treinados. Para usar um modelo personalizado, crie seu próprio componente de modelo.

  2. Crie um componente de tempo de execução. Esse componente contém os scripts necessários para instalar o tempo de execução do aprendizado de máquina para seus modelos. AWSfornece exemplos de componentes de tempo de execução para Deep Learning Runtime (DLR) e TensorFlow Lite. Para usar outros tempos de execução com seus modelos personalizados e código de inferência, crie seus próprios componentes de tempo de execução.

  3. Crie um componente de inferência. Esse componente contém seu código de inferência e inclui seus componentes de modelo e tempo de execução como dependências. AWSfornece componentes de inferência de amostra para classificação de imagens e detecção de objetos usando DLR e TensorFlow Lite. Para realizar outros tipos de inferência ou usar modelos e tempos de execução personalizados, crie seu próprio componente de inferência.

  4. Implante o componente de inferência. Quando você implanta esse componente, AWS IoT Greengrass também implanta automaticamente as dependências do modelo e do componente de tempo de execução.

Para começar a usar os componentes AWS fornecidos, consulteTutorial: Execute inferência de classificação de imagens de amostra usando o Lite TensorFlow .

Para obter informações sobre a criação de componentes personalizados de aprendizado de máquina, consultePersonalize seus componentes de aprendizado de máquina.

O que há de diferente na AWS IoT Greengrass versão 2?

AWS IoT Greengrassconsolida unidades funcionais para aprendizado de máquina, como modelos, tempos de execução e código de inferência, em componentes que permitem que você use um processo de uma etapa para instalar o tempo de execução do aprendizado de máquina, baixar seus modelos treinados e realizar inferências em seu dispositivo.

Ao usar os componentes AWS de aprendizado de máquina fornecidos, você tem a flexibilidade de começar a realizar inferências de aprendizado de máquina com exemplos de código de inferência e modelos pré-treinados. Você pode conectar componentes de modelo personalizados para usar seus próprios modelos personalizados com os componentes de inferência e tempo de execução fornecidos. AWS Para uma solução de aprendizado de máquina totalmente personalizada, você pode usar os componentes públicos como modelos para criar componentes personalizados e usar qualquer tempo de execução, modelo ou tipo de inferência que desejar.

Requisitos

Para criar e usar componentes de aprendizado de máquina, você deve ter o seguinte:

Fontes de modelo compatíveis

AWS IoT Greengrasssuporta o uso de modelos de aprendizado de máquina personalizados que são armazenados no Amazon S3. Você também pode usar os trabalhos de empacotamento de SageMaker borda da Amazon para criar diretamente componentes de modelo para seus modelos SageMaker compilados pela NEO. Para obter informações sobre como usar o SageMaker Edge Manager comAWS IoT Greengrass, consulteUse o Amazon SageMaker Edge Manager nos dispositivos principais do Greengrass. Você também pode usar trabalhos de empacotamento de modelos do Amazon Lookout for Vision para criar componentes de modelo para seus modelos do Lookout for Vision. Para obter mais informações sobre como usar o Lookout for Vision AWS IoT Greengrass com, Amazon Loout Lookout for Vision consulte.

Os buckets S3 que contêm seus modelos devem atender aos seguintes requisitos:

  • Eles não devem ser criptografados usando SSE-C. Para buckets que usam criptografia do lado do servidor, a inferência de aprendizado de AWS IoT Greengrass máquina atualmente oferece suporte somente às opções de criptografia SSE-S3 ou SSE-KMS. Para obter mais informações sobre as opções criptografia no lado do servidor, consulte Protegendo dados usando criptografia no lado do servidor no Guia do usuário do Amazon Simple Storage Service.

  • Seus nomes não devem incluir pontos (.). Para obter mais informações, consulte a regra sobre como usar buckets hospedados virtualmente com SSL em Regras para nomenclatura de buckets no Guia do usuário do Amazon Simple Storage Service.

  • Os buckets do S3 que armazenam suas fontes de modelo devem estar nos mesmos componentes de aprendizado de máquina Conta da AWS e nos Região da AWS mesmos.

  • AWS IoT Greengrassdeve ter read permissão para acessar a fonte do modelo. Para permitir o acesso AWS IoT Greengrass aos buckets do S3, a função do dispositivo Greengrass deve permitir a ação. s3:GetObject Para obter mais informações sobre a função do dispositivo, consulteAutorize os dispositivos principais a interagir com os serviços AWS.

Tempos de execução de aprendizado de máquina compatíveis

AWS IoT Greengrasspermite que você crie componentes personalizados para usar qualquer tempo de execução de aprendizado de máquina de sua escolha para realizar inferências de aprendizado de máquina com seus modelos treinados de forma personalizada. Para obter informações sobre a criação de componentes personalizados de aprendizado de máquina, consultePersonalize seus componentes de aprendizado de máquina.

Para tornar o processo de introdução ao aprendizado de máquina mais eficiente, AWS IoT Greengrass fornece exemplos de componentes de inferência, modelo e tempo de execução que usam os seguintes tempos de execução de aprendizado de máquina:

AWS-componentes de aprendizado de máquina fornecidos

A tabela a seguir lista os componentes AWS fornecidos usados para aprendizado de máquina.

nota

Vários componentes AWS fornecidos dependem de versões secundárias específicas do núcleo do Greengrass. Por causa dessa dependência, você precisa atualizar esses componentes ao atualizar o núcleo do Greengrass para uma nova versão secundária. Para obter informações sobre as versões específicas do núcleo das quais cada componente depende, consulte o tópico do componente correspondente. Para obter mais informações sobre a atualização do núcleo, consulteAtualize o software AWS IoT Greengrass principal (OTA).

Componente Descrição Tipo de componente SO com suporte Código aberto
Lookout for Vision Edge Agent Implanta o tempo de execução do Amazon Lookout for Vision no dispositivo principal do Greengrass, para que você possa usar a visão computacional para encontrar defeitos em produtos industriais. Genérico Linux Não
SageMaker Gerente de borda Implanta o agente Amazon SageMaker Edge Manager no dispositivo principal do Greengrass. Genérico Linux, Windows Não
Classificação de imagens DLR Componente de inferência que usa o repositório de modelos de classificação de imagem DLR e o componente de tempo de execução do DLR como dependências para instalar o DLR, baixar exemplos de modelos de classificação de imagens e realizar inferência de classificação de imagens em dispositivos compatíveis. Genérico Linux, Windows Não
Detecção de objetos DLR Componente de inferência que usa o repositório de modelos de detecção de objetos DLR e o componente de tempo de execução do DLR como dependências para instalar o DLR, baixar modelos de detecção de objetos de amostra e realizar inferência de detecção de objetos em dispositivos compatíveis. Genérico Linux, Windows Não
Armazenamento de modelos de classificação de imagens DLR Componente de modelo que contém amostras de ResNet -50 modelos de classificação de imagens como artefatos do Greengrass. Genérico Linux, Windows Não
Armazenamento de modelos de detecção de objetos DLR Componente de modelo que contém exemplos de modelos de detecção de objetos YOLOv3 como artefatos do Greengrass. Genérico Linux, Windows Não
Tempo de execução do DLR Componente de tempo de execução que contém um script de instalação usado para instalar o DLR e suas dependências no dispositivo principal do Greengrass. Genérico Linux, Windows Não
TensorFlow Classificação de imagens Lite Componente de inferência que usa o TensorFlow repositório de modelos de classificação de imagem TensorFlow Lite e o componente de tempo de execução Lite como dependências para instalar o TensorFlow Lite, baixar exemplos de modelos de classificação de imagens e realizar inferência de classificação de imagens em dispositivos compatíveis. Genérico Linux, Windows Não
TensorFlow Detecção leve de objetos Componente de inferência que usa o TensorFlow repositório de modelos de detecção de objetos TensorFlow Lite e o componente de tempo de execução Lite como dependências para instalar o TensorFlow Lite, baixar modelos de detecção de objetos de amostra e realizar inferência de detecção de objetos em dispositivos compatíveis. Genérico Linux, Windows Não
TensorFlow Loja de modelos de classificação de imagens Lite Componente de modelo que contém um modelo MobileNet v1 de amostra como artefato do Greengrass. Genérico Linux, Windows Não
TensorFlow Loja de modelos de detecção de objetos Lite Componente de modelo que contém um MobileNet modelo de amostra de detecção de disparo único (SSD) como um artefato do Greengrass. Genérico Linux, Windows Não
TensorFlow Tempo de execução leve Componente de tempo de execução que contém um script de instalação usado para instalar o TensorFlow Lite e suas dependências no dispositivo principal do Greengrass. Genérico Linux, Windows Não