Uso da GPU

Você pode acessar o processador gráfico (GPU) no AWS Panorama Appliance para usar bibliotecas aceleradas por GPU ou executar modelos de machine learning no código da sua aplicação. Para ativar o acesso à GPU, adicione o acesso à GPU como requisito na configuração do pacote depois de criar o contêiner de código da aplicação.

Importante

Se você habilitar o acesso à GPU, não poderá executar nós de modelo em nenhuma aplicação no dispositivo. Por motivos de segurança, o acesso à GPU é restrito quando o dispositivo executa um modelo compilado com o SageMaker Neo. Com o acesso à GPU, você deve executar seus modelos nos nós de código da aplicação, e todas as aplicações no dispositivo compartilham o acesso à GPU.

Para ativar o acesso à GPU para sua aplicação, atualize a configuração do pacote depois de criar o pacote com a CLI da aplicação do AWS Panorama. O exemplo a seguir mostra o bloco requirements que adiciona acesso à GPU ao nó do código da aplicação.

exemplo package.json com bloco de requisitos

{
    "nodePackage": {
        "envelopeVersion": "2021-01-01",
        "name": "SAMPLE_CODE",
        "version": "1.0",
        "description": "Computer vision application code.",
        "assets": [
            {
                "name": "code_asset",
                "implementations": [
                    {
                        "type": "container",
                        "assetUri": "eba3xmpl71aa387e8f89be9a8c396416cdb80a717bb32103c957a8bf41440b12.tar.gz",
                        "descriptorUri": "4abdxmpl5a6f047d2b3047adde44704759d13f0126c00ed9b4309726f6bb43400ba9.json",
                        "requirements": [
                            {
                                "type": "hardware_access",
                                "inferenceAccelerators": [
                                    {
                                        "deviceType": "nvhost_gpu",
                                        "sharedResourcePolicy": {
                                            "policy" : "allow_all"
                                        }
                                    }
                                ]
                            }
                        ]
                    }
                ]
            }
        ],
        "interfaces": [
        ...

Atualize a configuração do pacote entre as etapas de compilação e empacotamento em seu fluxo de trabalho de desenvolvimento.

Para implantar uma aplicação com acesso à GPU

1. Para criar o contêiner da aplicação, use o comando build-container.

   $ panorama-cli build-container --container-asset-name code_asset --package-path packages/123456789012-SAMPLE_CODE-1.0

2. Adicione o bloco requirements à configuração do pacote.

3. Para carregar o ativo do contêiner e a configuração do pacote, use o comando package-application.

   $ panorama-cli package-application

4. Implante a aplicação.

Para exemplos de aplicações que usam acesso à GPU, visite o repositório aws-panorama-samples no GitHub.