Uso de la GPU

Puede acceder al procesador de gráficos (GPU) del dispositivo de AWS Panorama para usar bibliotecas aceleradas por GPU o ejecutar modelos de machine learning en el código de la aplicación. Para activar el acceso a la GPU, añada el acceso a la GPU como requisito a la configuración del paquete después de crear el contenedor de código de la aplicación.

importante

Si habilita el acceso a la GPU, no podrá ejecutar nodos modelo en ninguna aplicación en el dispositivo. Por motivos de seguridad, el acceso a la GPU está restringido cuando el dispositivo ejecuta un modelo compilado con SageMaker Neo. Con el acceso a la GPU, debe ejecutar sus modelos en nodos de código de aplicación y todas las aplicaciones en el dispositivo comparten el acceso a la GPU.

Para activar el acceso a la GPU de su aplicación, actualice la configuración del paquete después de crearlo con la CLI de aplicaciones de AWS Panorama. En el siguiente ejemplo, se muestra el bloque requirements que añade el acceso de la GPU al nodo de código de la aplicación.

ejemplo package.json con bloque de requisitos

{
    "nodePackage": {
        "envelopeVersion": "2021-01-01",
        "name": "SAMPLE_CODE",
        "version": "1.0",
        "description": "Computer vision application code.",
        "assets": [
            {
                "name": "code_asset",
                "implementations": [
                    {
                        "type": "container",
                        "assetUri": "eba3xmpl71aa387e8f89be9a8c396416cdb80a717bb32103c957a8bf41440b12.tar.gz",
                        "descriptorUri": "4abdxmpl5a6f047d2b3047adde44704759d13f0126c00ed9b4309726f6bb43400ba9.json",
                        "requirements": [
                            {
                                "type": "hardware_access",
                                "inferenceAccelerators": [
                                    {
                                        "deviceType": "nvhost_gpu",
                                        "sharedResourcePolicy": {
                                            "policy" : "allow_all"
                                        }
                                    }
                                ]
                            }
                        ]
                    }
                ]
            }
        ],
        "interfaces": [
        ...

Actualice la configuración del paquete entre los pasos de creación y empaquetado de su flujo de trabajo de desarrollo.

Para implementar una aplicación con acceso a la GPU

1. Para crear el contenedor de aplicaciones, utilice el comando build-container.

   $ panorama-cli build-container --container-asset-name code_asset --package-path packages/123456789012-SAMPLE_CODE-1.0

2. Añada el bloque requirements a la configuración del paquete.

3. Para cargar la configuración del paquete y el activo del contenedor, utilice el comando package-application.

   $ panorama-cli package-application

4. Implemente la aplicación.

Para ver aplicaciones de muestra que utilizan el acceso a la GPU, visita el repositorio de GitHub aws-panorama-samples.