Verwendung der GPU - AWS Panorama

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwendung der GPU

Sie können auf den Grafikprozessor (GPU) der AWS Panorama Appliance zugreifen, um GPU-beschleunigte Bibliotheken zu verwenden oder Modelle für maschinelles Lernen in Ihrem Anwendungscode auszuführen. Um den GPU-Zugriff zu aktivieren, fügen Sie der Paketkonfiguration GPU-Zugriff als Anforderung hinzu, nachdem Sie Ihren Anwendungscode-Container erstellt haben.

Wichtig

Wenn Sie den GPU-Zugriff aktivieren, können Sie Modellknoten in keiner Anwendung auf der Appliance ausführen. Aus Sicherheitsgründen ist der GPU-Zugriff eingeschränkt, wenn die Appliance ein mit SageMaker Neo kompiliertes Modell ausführt. Mit GPU-Zugriff müssen Sie Ihre Modelle in Anwendungscodeknoten ausführen, und alle Anwendungen auf dem Gerät teilen sich den Zugriff auf die GPU.

Um den GPU-Zugriff für Ihre Anwendung zu aktivieren, aktualisieren Sie die Paketkonfiguration, nachdem Sie das Paket mit der AWS Panorama-Anwendungs-CLI erstellt haben. Das folgende Beispiel zeigt den requirements Block, der dem Anwendungscodeknoten GPU-Zugriff hinzufügt.

Beispiel package.json mit Anforderungsblock
{
    "nodePackage": {
        "envelopeVersion": "2021-01-01",
        "name": "SAMPLE_CODE",
        "version": "1.0",
        "description": "Computer vision application code.",
        "assets": [
            {
                "name": "code_asset",
                "implementations": [
                    {
                        "type": "container",
                        "assetUri": "eba3xmpl71aa387e8f89be9a8c396416cdb80a717bb32103c957a8bf41440b12.tar.gz",
                        "descriptorUri": "4abdxmpl5a6f047d2b3047adde44704759d13f0126c00ed9b4309726f6bb43400ba9.json",
                        "requirements": [
                            {
                                "type": "hardware_access",
                                "inferenceAccelerators": [
                                    {
                                        "deviceType": "nvhost_gpu",
                                        "sharedResourcePolicy": {
                                            "policy" : "allow_all"
                                        }
                                    }
                                ]
                            }
                        ]
                    }
                ]
            }
        ],
        "interfaces": [
        ...

Aktualisieren Sie die Paketkonfiguration zwischen den Build- und Paketierungsschritten in Ihrem Entwicklungsworkflow.

So stellen Sie eine Anwendung mit GPU-Zugriff bereit

  1. Verwenden Sie den build-container Befehl, um den Anwendungscontainer zu erstellen.

    $ panorama-cli build-container --container-asset-name code_asset --package-path packages/123456789012-SAMPLE_CODE-1.0

  2. Fügen Sie den requirements Block zur Paketkonfiguration hinzu.

  3. Verwenden Sie den package-application Befehl, um das Container-Asset und die Paketkonfiguration hochzuladen.

    $ panorama-cli package-application

  4. Stellen Sie die Anwendung bereit.

Beispielanwendungen, die GPU-Zugriff verwenden, finden Sie im aws-panorama-samplesGitHubRepository.