Utilizzo della GPU

Puoi accedere al processore grafico (GPU) sull'appliance AWS Panorama per utilizzare librerie accelerate da GPU o eseguire modelli di machine learning nel codice dell'applicazione. Per attivare l'accesso alla GPU, aggiungi l'accesso GPU come requisito alla configurazione del pacchetto dopo aver creato il contenitore del codice dell'applicazione.

Importante

Se abiliti l'accesso alla GPU, non puoi eseguire i nodi del modello in nessuna applicazione dell'appliance. Per motivi di sicurezza, l'accesso alla GPU è limitato quando l'appliance esegue un modello compilato con Neo. SageMaker Con l'accesso tramite GPU, è necessario eseguire i modelli in nodi di codice applicativo e tutte le applicazioni sul dispositivo condividono l'accesso alla GPU.

Per attivare l'accesso tramite GPU per la tua applicazione, aggiorna la configurazione del pacchetto dopo aver creato il pacchetto con l'interfaccia a riga di comando dell'applicazione AWS Panorama. L'esempio seguente mostra il requirements blocco che aggiunge l'accesso GPU al nodo di codice dell'applicazione.

Esempio package.json con blocco dei requisiti

{
    "nodePackage": {
        "envelopeVersion": "2021-01-01",
        "name": "SAMPLE_CODE",
        "version": "1.0",
        "description": "Computer vision application code.",
        "assets": [
            {
                "name": "code_asset",
                "implementations": [
                    {
                        "type": "container",
                        "assetUri": "eba3xmpl71aa387e8f89be9a8c396416cdb80a717bb32103c957a8bf41440b12.tar.gz",
                        "descriptorUri": "4abdxmpl5a6f047d2b3047adde44704759d13f0126c00ed9b4309726f6bb43400ba9.json",
                        "requirements": [
                            {
                                "type": "hardware_access",
                                "inferenceAccelerators": [
                                    {
                                        "deviceType": "nvhost_gpu",
                                        "sharedResourcePolicy": {
                                            "policy" : "allow_all"
                                        }
                                    }
                                ]
                            }
                        ]
                    }
                ]
            }
        ],
        "interfaces": [
        ...

Aggiorna la configurazione del pacchetto tra le fasi di compilazione e di creazione del pacchetto nel flusso di lavoro di sviluppo.

Per implementare un'applicazione con accesso tramite GPU

1. Per creare il contenitore dell'applicazione, usa il build-container comando.

   $ panorama-cli build-container --container-asset-name code_asset --package-path packages/123456789012-SAMPLE_CODE-1.0

2. Aggiungi il requirements blocco alla configurazione del pacchetto.

3. Per caricare l'asset del contenitore e la configurazione del pacchetto, usa il package-application comando.

   $ panorama-cli package-application

4. Distribuire l'applicazione.

Per applicazioni di esempio che utilizzano l'accesso tramite GPU, visita il aws-panorama-samplesGitHubrepository.