Utilisation du GPU

Vous pouvez accéder au processeur graphique (GPU) de l'appliance AWS Panorama pour utiliser des bibliothèques accélérées par GPU ou exécuter des modèles d'apprentissage automatique dans le code de votre application. Pour activer l'accès au GPU, vous devez obligatoirement ajouter l'accès au GPU à la configuration du package après avoir créé votre conteneur de code d'application.

Important

Si vous activez l'accès au GPU, vous ne pouvez pas exécuter de nœuds modèles dans aucune application de l'appliance. Pour des raisons de sécurité, l'accès au GPU est restreint lorsque l'appliance exécute un modèle compilé avec SageMaker Neo. Avec l'accès au GPU, vous devez exécuter vos modèles dans des nœuds de code d'application, et toutes les applications de l'appareil partagent l'accès au GPU.

Pour activer l'accès au GPU pour votre application, mettez à jour la configuration du package après avoir créé le package à l'aide de l'interface de ligne de commande AWS Panorama Application. L'exemple suivant montre le requirements bloc qui ajoute un accès GPU au nœud de code de l'application.

Exemple package.json avec bloc d'exigences

{
    "nodePackage": {
        "envelopeVersion": "2021-01-01",
        "name": "SAMPLE_CODE",
        "version": "1.0",
        "description": "Computer vision application code.",
        "assets": [
            {
                "name": "code_asset",
                "implementations": [
                    {
                        "type": "container",
                        "assetUri": "eba3xmpl71aa387e8f89be9a8c396416cdb80a717bb32103c957a8bf41440b12.tar.gz",
                        "descriptorUri": "4abdxmpl5a6f047d2b3047adde44704759d13f0126c00ed9b4309726f6bb43400ba9.json",
                        "requirements": [
                            {
                                "type": "hardware_access",
                                "inferenceAccelerators": [
                                    {
                                        "deviceType": "nvhost_gpu",
                                        "sharedResourcePolicy": {
                                            "policy" : "allow_all"
                                        }
                                    }
                                ]
                            }
                        ]
                    }
                ]
            }
        ],
        "interfaces": [
        ...

Mettez à jour la configuration du package entre les étapes de création et d'empaquetage de votre flux de travail de développement.

Pour déployer une application avec accès au GPU

1. Pour créer le conteneur d'applications, utilisez la build-container commande.

   $ panorama-cli build-container --container-asset-name code_asset --package-path packages/123456789012-SAMPLE_CODE-1.0

2. Ajoutez le requirements bloc à la configuration du package.

3. Pour charger la configuration de la ressource et du package du conteneur, utilisez la package-application commande.

   $ panorama-cli package-application

4. Déployez l'application.

Pour des exemples d'applications utilisant l'accès au GPU, visitez le aws-panorama-samplesGitHubréférentiel.