Utilizzo della GPU

Puoi accedere al processore grafico (GPU) su AWS Panorama Appliance per utilizzare librerie accelerate da GPU o eseguire modelli di machine learning nel codice dell'applicazione. Per attivare l'accesso tramite GPU, aggiungi l'accesso tramite GPU come requisito alla configurazione del pacchetto dopo aver creato il contenitore di codice dell'applicazione.

Importante

Se abiliti l'accesso tramite GPU, non puoi eseguire nodi modello in nessuna applicazione sull'appliance. Per motivi di sicurezza, l'accesso alla GPU è limitato quando l'appliance esegue un modello compilato con AI Neo. SageMaker Con l'accesso tramite GPU, è necessario eseguire i modelli in nodi di codice applicativo e tutte le applicazioni sul dispositivo condividono l'accesso alla GPU.

Per attivare l'accesso tramite GPU per la tua applicazione, aggiorna la configurazione del pacchetto dopo averlo creato con la CLI dell'applicazione AWS Panorama. L'esempio seguente mostra il requirements blocco che aggiunge l'accesso tramite GPU al nodo del codice dell'applicazione.

Esempio package.json con blocco requirements

{
    "nodePackage": {
        "envelopeVersion": "2021-01-01",
        "name": "SAMPLE_CODE",
        "version": "1.0",
        "description": "Computer vision application code.",
        "assets": [
            {
                "name": "code_asset",
                "implementations": [
                    {
                        "type": "container",
                        "assetUri": "eba3xmpl71aa387e8f89be9a8c396416cdb80a717bb32103c957a8bf41440b12.tar.gz",
                        "descriptorUri": "4abdxmpl5a6f047d2b3047adde44704759d13f0126c00ed9b4309726f6bb43400ba9.json",
                        "requirements": [
                            {
                                "type": "hardware_access",
                                "inferenceAccelerators": [
                                    {
                                        "deviceType": "nvhost_gpu",
                                        "sharedResourcePolicy": {
                                            "policy" : "allow_all"
                                        }
                                    }
                                ]
                            }
                        ]
                    }
                ]
            }
        ],
        "interfaces": [
        ...

Aggiorna la configurazione del pacchetto tra le fasi di compilazione e pacchettizzazione nel flusso di lavoro di sviluppo.

Per distribuire un'applicazione con accesso tramite GPU

1. Per creare il contenitore dell'applicazione, usa il build-container comando.

   $ panorama-cli build-container --container-asset-name code_asset --package-path packages/123456789012-SAMPLE_CODE-1.0

2. Aggiungi il requirements blocco alla configurazione del pacchetto.

3. Per caricare la configurazione della risorsa del contenitore e del pacchetto, usa il package-application comando.

   $ panorama-cli package-application

4. Distribuire l'applicazione.

Per esempi di applicazioni che utilizzano l'accesso tramite GPU, visita il aws-panorama-samples GitHub repository.